понеділок, 13 квітня 2020 р.

ДОСЛІДЖЕННЯ ПЛАТИ РОЗШИРЕННЯ

Pioneer600 – багатофункціональна плата розширення для одноплатного мінікомп’ютера Raspberry Pi (RPi). Характерною особливістю плати є підтримка моделей Raspberry Pi A+/B+/2B/3B.
На платі встановлені: роз’єм для підключення до інтерфейсу GPIO мікрокомп’ютера, світлодіоди – два користувачів, один – індикатор живлення, джойстик, зумер, базові компоненти. Міст USB-UART на основі CP2102 дозволяє керувати RPi через послідовний термінал. Для відображення інформації на платі встановлений OLED дисплей з діагоналлю 0.96''. Прецизійний годинник реального часу зібраний на мікросхемі DS3231 з інтерфейсом I2C. На платі встановлений тримач батареї резервного живлення RTC. 8-бітний АЦП/ЦАП зібраний на мікросхемі PCF8591 з інтерфейсом I2C. Доступ до перетворювача здійснюється через клемну колодку. Крім того, на платі є: сенсор тиску BMP180 з інтерфейсом I2C, мікросхема розширювача ліній вводу/виводу PCF8574, інфрачервоний приймач LFN0038K, роз’єми інтерфейсу 1-Wire, а також окремий роз’єм інтерфейсу для підключення різних сенсорів.
Параметри:
  • - підтримка Raspberry Pi A+/B+/2B
  • <Standard I/O> здвоєний LED, джойстик, зумер, базові компоненти
  • <USB TO UART> CP2102, керування RPi через послідовний термінал
  • <Display> 0.96-дюймовий OLED, велике слово на маленькому екрані
  • <RTC> DS3231, висока точність, доступний тримач для батареї резервного живлення
  • <AD/DA> PCF8591, 8-бітовий дозвіл, клемна колодка IO-інтерфейсу
  • <GPIO Expansion> PCF8574, більше GPIO, більше можливостей
  • <IR Control> LFN0038K, віддалене керування RPi
  • <Pressure Sensor> BMP180, вимірювання тиску повітря і температури
  • <1-WIRE> для підключення 1-Wire пристроїв, на платі є сенсор DS18B20
  • <Sensor Interface> - інтерфейс для підключення різних сенсорів
  •  
Елементи плати
1. Raspberry Pi GPIO інтерфейс: для підключення до Raspberry Pi
2. USB TO UART: керування RPi через послідовний термінал
3. АЦП/ЦАП інтерфейс IO: клемна колодка
4. 1-Wire інтерфейс: для підключення 1-Wire пристроїв типу DS18B20
5. Інтерфейс сенсорів: для підключення різних сенсорів
6. 0.96-дюймовий OLED: драйвер SSD1306, дозвіл 128×64, SPI інтерфейс
7. Зумер
8. CP2102: USB TO UART перетворювач
9. PCF8591: 8-бітовий АЦП/ЦАП, I2C інтерфейс
10. BMP180: сенсор тиску, I2C інтерфейс
11. PCF8574: мікросхема розширення I/O, I2C інтерфейс
12. DS3231: високоточна мікросхема RTC, I2C інтерфейс
13. Індикатор живлення
14. Світлодіоди користувача
15. Джойстик
16. LFN0038K: ІЧ приймач
Попередні налаштування
Як встановити всі необхідні бібліотеки ми розглянули в уроці 17.
Якщо всі необхідні конфігурації виконані, можна завантажити зразки програм з файлу: Pioneer600-Code.tar.gz та розпакувати їх у директорію /home/pi (ви також можете скопіювати їх на RPi зі свого диска). Деякі зразки програм можуть бути реалізовані різними способами: через бібліотеки bcm2835, wiringPi, sysfs, python тощо. Це означає, що ви можете реалізувати однакові функції, використовуючи різні бібліотеки. Бібліотеки bcm2835, wiringPi та python повинні бути встановлені на RPi до використання. У наступному уроці ми розглянемо, як підключити до плати розширення зовнішні сенсори.
Після установки бібліотек можна спробувати застосувати команду:
sudo chmod + x ім'я файлу
щоб надати програмі дозвіл на виконання.
Підключення плати розширення до RPi
Перед тим, як запускати програми, переконайтеся, що Pioneer600 підключено до RPi, а RPi підключено до джерела живлення через роз’єм мікроUSB. Без плати RPi програми не можуть бути використані на платі розширення.
Розглянемо приклади програм на Python, які дозволяють скористатися можливостями плати.
Високоточний годинник реального часу (RTC) на DS3231
Програмний код зберігається у файлі ds3231.py.
# -*- coding: utf-8 -*-
import smbus
import time
#адреса пристрою i2c
address = 0x68
register = 0x00
#сек хв години тиждень день місяць рік
NowTime = [0x00,0x00,0x18,0x04,0x12,0x08,0x15]
w  = ["SUN","Mon","Tues","Wed","Thur","Fri","Sat"];
#/dev/i2c-1
bus = smbus.SMBus(1)
def ds3231SetTime():
    bus.write_i2c_block_data(address,register,NowTime)

def ds3231ReadTime():
    return bus.read_i2c_block_data(address,register,7);

ds3231SetTime()
while 1:
    t = ds3231ReadTime()
    t[0] = t[0]&0x7F  #sec
    t[1] = t[1]&0x7F  #min
    t[2] = t[2]&0x3F  #hour
    t[3] = t[3]&0x07  #week
    t[4] = t[4]&0x3F  #day
    t[5] = t[5]&0x1F  #mouth
    print("20%x/%02x/%02x %02x:%02x:%02x %s" %(t[6],t[5],t[4],t[2],t[1],t[0],w[t[3]-1]))
    time.sleep(1)
Для запуска демонстраційної програми перейдіть в директорію ~/Pioneer600/DS3231/python і в термінальному режимі введіть команду:
sudo python ds3231.py
Термінал покаже наступну інформацію, як результат виконання команди:
2015/08/12 18:00:00 Wed
2015/08/12 18:00:01 Wed
2015/08/12 18:00:02 Wed
2015/08/12 18:00:03 Wed
2015/08/12 18:00:04 Wed
Натисніть Ctrl+C для завершення роботи.
Зміна стану світлодіодів користувача
Програмний код зберігається у файлі led.py
#!/usr/bin/python
# -*- coding:utf-8 -*-
import RPi.GPIO as GPIO
import time

LED = 26

GPIO.setmode(GPIO.BCM)
GPIO.setup(LED,GPIO.OUT)
try:
    while True:
        GPIO.output(LED,GPIO.HIGH)
        time.sleep(1)
        GPIO.output(LED,GPIO.LOW)
        time.sleep(1)
except:
    print("except")
    GPIO.cleanup()
Для запуска демонстраційної програми перейдіть в директорію ~/Pioneer600/LED/python і в термінальному режимі введіть команду:
sudo python led.py
В результаті виконання світлодіод LED1 почне мерехтіти.
Натисніть Ctrl+C для завершення роботи.
Завдання
Збільшіть частоту перемикання світлодіода до значення, коли мерехтіння стане непомітним.
Реалізація широтно-імпульсної модуляції (PWM)
Програмний код зберігається у файлі pwm.py
#!/usr/bin/python
# -*- coding:utf-8 -*-
import RPi.GPIO as GPIO
import time
LED = 26
GPIO.setmode(GPIO.BCM)
GPIO.setup(LED,GPIO.OUT)

p = GPIO.PWM(LED,50)
p.start(0)
try:
    while True:
        for dc in range(0,101,5):
            p.ChangeDutyCycle(dc)
            time.sleep(0.05)
        for dc in range(100,-1,-5):
            p.ChangeDutyCycle(dc)
            time.sleep(0.05)
except KeyboardInterrupt:
    pass
    p.stop()
    GPIO.cleanup()
Для запуска демонстраційної програми перейдіть в директорію ~/Pioneer600/LED/python і в термінальному режимі введіть команду:
sudo python pwm.py
В результаті виконання програми світлодіод LED1 змінює свою яскравість.
Натисніть Ctrl+C для завершення роботи.
Завдання
Задайте частоту імпульсів, знайдену в попередньому завданні, коли мерехтіння діоду стає непомітним, щоб отримати лише поступову зміну яскравості світлодіоду без його мерехтіння.
Організація роботи джойстика
Програмний код зберігається у файлі key.py
#!/usr/bin/python
# -*- coding:utf-8 -*-
import RPi.GPIO as GPIO
import time

KEY = 20

GPIO.setmode(GPIO.BCM)
GPIO.setup(KEY,GPIO.IN,GPIO.PUD_UP)
print("Key Test Program")
while True:
    time.sleep(0.05)
    if GPIO.input(KEY) == 0:
        print("KEY PRESS")
        while GPIO.input(KEY) == 0:
            time.sleep(0.01)
Для запуска програми перейдіть в директорію ~/Pioneer600/KEY/python і в термінальному режимі введіть команду:
sudo python key.py
Натисніть центральну клавішу джойстика і термінал покаже наступну інформацію:
Key Test Program
KEY PRESS
KEY PRESS
KEY PRESS
Натисніть Ctrl+C для завершення роботи.
Розширення входів/виходів за допомогою мікросхеми PCF8574
Приклад 1. Керування світлодіодом LED2. Програмний код зберігається у файлі led.py:
#!/usr/bin/python
# -*- coding:utf-8 -*-
import smbus
import time

address = 0x20

bus = smbus.SMBus(1)
while True:
    bus.write_byte(address,0xEF)
    time.sleep(0.5)
    bus.write_byte(address,0xFF)
    time.sleep(0.5)
Для запуска програми перейдіть в директорію ~/Pioneer600/PCF8574/python і в термінальному режимі введіть команду:
sudo python led.py
Світлодіод LED2 почне мерехтіти.
Натисніть Ctrl+C для завершення роботи.
Завдання
Порівняйте коди /LED/python/led.py і /PCF8574/python/led.py. Поясніть відмінності.
Приклад 2. Програмний код даного прикладу зберігається у файлі pcf8574.py:
#!/usr/bin/python
# -*- coding:utf-8 -*-
import RPi.GPIO as GPIO
import smbus
import time

address = 0x20

def beep_on():
    bus.write_byte(address,0x7F&bus.read_byte(address))
def beep_off():
    bus.write_byte(address,0x80|bus.read_byte(address))
def led_off():
    bus.write_byte(address,0x10|bus.read_byte(address))
def led_on():
    bus.write_byte(address,0xEF&bus.read_byte(address))

bus = smbus.SMBus(1)
print("PCF8574 Test Program !!!")
while True:
    bus.write_byte(address,0x0F|bus.read_byte(address))
    value = bus.read_byte(address) | 0xF0
    if value != 0xFF:
        led_on()
        beep_on()
        if (value | 0xFE) != 0xFF:
            print("left")
        elif (value | 0xFD) != 0xFF:
            print("up")
        elif (value | 0xFB) != 0xFF:
            print("dowm")
        else :
            print("right")
        while value != 0xFF:
            bus.write_byte(address,0x0F|bus.read_byte(address))
            value = bus.read_byte(address) | 0xF0
            time.sleep(0.01)
        beep_off()
        led_off()
    time.sleep(0.1)
Для запуска програми перейдіть в директорію ~/Pioneer600/PCF8574/python і в термінальному режимі введіть команду:
sudo python pcf8574.py
При натисканні джойстика в різних напрямках повинна збільшуватися яскравість світлодіоду LED2, зумер згенерує звук і на терміналі з’явиться наступна інформація:
PCF8574 Test Program !!!
up
left
down
right
Натисніть Ctrl+C для завершення роботи.
Вимірювання температури з сенсором DS18B20
Для використання програми з сенсором DS18B20, вам необхідно додати рядок dtoverlay=w1-gpio-pullup в кінці файла завантаження /boot/config.txt Raspberry Pi і перезапустити RPi, щоб зміни вступили в дію.
Програмний код зберігається у файлі ds18b20.py:
#!/usr/bin/python
# -*- coding:utf-8 -*-
import os
import glob
import time

os.system('modprobe w1-gpio')
os.system('modprobe w1-therm')

base_dir = '/sys/bus/w1/devices/'
device_folder = glob.glob(base_dir + '28*')[0]
device_file = device_folder + '/w1_slave'
def read_rom():
    name_file=device_folder+'/name'
    f = open(name_file,'r')
    return f.readline()

def read_temp_raw():
    f = open(device_file, 'r')
    lines = f.readlines()
    f.close()
    return lines

def read_temp():
    lines = read_temp_raw()
    while lines[0].strip()[-3:] != 'YES':
        time.sleep(0.2)
        lines = read_temp_raw()
    equals_pos = lines[1].find('t=')
    if equals_pos != -1:
        temp_string = lines[1][equals_pos+2:]
        temp_c = float(temp_string) / 1000.0
        temp_f = temp_c * 9.0 / 5.0 + 32.0
        return temp_c, temp_f

print(' rom: '+ read_rom())
while True:
    print(' C=%3.3f  F=%3.3f'% read_temp())
    time.sleep(1)
Для запуска програми перейдіть в директорію ~/Pioneer600/DS18B20/python і в термінальному режимі введіть команду:
sudo python ds18b20.py
При виконанні програми термінал буде відображати наступну інформацію:
rom: 28-00000674869d
C=29.687 F=85.437
C=29.687 F=85.437
C=29.687 F=85.437
Натисніть Ctrl+C для завершення роботи.
Програма для керування від ІЧ-пульту
Програмний код зберігається у файлі irm.py
#!/usr/bin/python
# -*- coding:utf-8 -*-
import RPi.GPIO as GPIO
import time

PIN = 18;

GPIO.setmode(GPIO.BCM)
GPIO.setup(PIN,GPIO.IN,GPIO.PUD_UP)
print('IRM Test Start ...')
try:
    while True:
        if GPIO.input(PIN) == 0:
            count = 0
            while GPIO.input(PIN) == 0 and count < 200:  #9ms
                count += 1
                time.sleep(0.00006)

            count = 0
            while GPIO.input(PIN) == 1 and count < 80:  #4.5ms
                count += 1
                time.sleep(0.00006)

            idx = 0
            cnt = 0
            data = [0,0,0,0]
            for i in range(0,32):
                count = 0
                while GPIO.input(PIN) == 0 and count < 15:    #0.56ms
                    count += 1
                    time.sleep(0.00006)
                
                count = 0
                while GPIO.input(PIN) == 1 and count < 40:   #0: 0.56mx
                    count += 1                               #1: 1.69ms
                    time.sleep(0.00006)
                
                if count > 8:
                    data[idx] |= 1<<cnt
                if cnt == 7:
                    cnt = 0
                    idx += 1
                else:
                    cnt += 1
            if data[0]+data[1] == 0xFF and data[2]+data[3] == 0xFF:  #check
                print("Get the key: 0x%02x" %data[2])
except KeyboardInterrupt:
    GPIO.cleanup();
Для запуска програми перейдіть в директорію ~/Pioneer600/IRM/python і в термінальному режимі введіть команду:
sudo python irm.py
Натискуйте клавіші на пульті ІЧ-пульта дистанційного керування і термінал повинен показувати код відповідної натиснутої клавіші.
IRM Test Start ...
Get the key: 0x0c
Get the key: 0x18
Get the key: 0x5e
Натисніть Ctrl+C для завершення роботи.
Робота з OLED-дисплеєм
Примітка: якщо демонстраційні файли WiringPi або Python будуть запущені після демонстрації BCM, OLED може не працювати належним чином. У цьому випадку вам доведеться перезавантажити Raspberry Pi і запустити програму знову, щоб відновити роботу OLED. Причиною може бути більш високий пріоритет бібліотек BCM, ніж WiringPi або Python.
Щоб використати програми python для керування OLED ми раніше інсталювали бібліотеку python-imaging (урок 17).
Програмний код демонстраційної програми зберігається у файлі oled.py
import spidev as SPI
import SSD1306
import time

import Image
import ImageDraw
import ImageFont
 
# Конфігурування виводів Raspberry Pi:
RST = 19
DC = 16
bus = 0
device = 0

# Дисплей 128x64 з інтерфейсом SPI:
disp = SSD1306.SSD1306(RST, DC, SPI.SpiDev(bus, device))

# Ініціалізація бібліотеки.
disp.begin()
 
# Clear display.
disp.clear()
disp.display()

# Створення пустого зображення, щоб малювати на ньому об’єкт.
# Переконайтеся, що створили зображення з параметром '1' для 1-бітового кольору.
width = disp.width
height = disp.height
image = Image.new('1', (width, height))
 
# Отримуємо малюнок об’єкта, щоб відобразити його на основі
draw = ImageDraw.Draw(image)
 
# Малюємо чорний ящик, щоб очистити зображення.
draw.rectangle((0,0,width,height), outline=0, fill=0)
 
# Малюємо деякі фігури.
# Спочатку визначаємо деякі константи, які дозволять легко змінювати розміри фігур.
padding = 2
shape_width = 20
top = padding
bottom = height-padding
# Переміщуємо зліва направо, стежачи за поточним значенням х для малювання фігур.
x = padding
# Малюємо еліпс.
draw.ellipse((x, top , x+shape_width, bottom), outline=255, fill=0)
x += shape_width+padding
# Малюємо прямокутник.
draw.rectangle((x, top, x+shape_width, bottom), outline=255, fill=0)
x += shape_width+padding
# Малюємо трикутник.
draw.polygon([(x, bottom), (x+shape_width/2, top), (x+shape_width, bottom)], outline=255, fill=0)
x += shape_width+padding
# Малюємо X.
draw.line((x, bottom, x+shape_width, top), fill=255)
draw.line((x, top, x+shape_width, bottom), fill=255)
x += shape_width+padding
 
# Завантажуємо шрифт за замовчуванням.
font = ImageFont.load_default()
 
# Записуємо два рядки тексту.
draw.text((x, top),    'Hello',  font=font, fill=255)
draw.text((x, top+20), 'World!', font=font, fill=255)
 
# Показуємо зображення.
disp.image(image)
disp.display()
Для запуска програми перейдіть в директорію ~/Pioneer600/OLED/python і в термінальному режимі введіть команду:
sudo python oled.py
Запустіть наведені нижче демонстраційні програми для виведення зображень на дисплей:
sudo python dispchar.py
sudo python image.py
sudo python animate.py
sudo python waveshare.py
Завдання
Виведіть на дисплей спрощене зображення герба РТФ.
Використання UART для передачі даних
Примітка: послідовний порт RPi встановлений у режимі налагодження терміналу. Однак, щоб запустити цю демонстраційну програму, треба вимкнути функцію налагодження терміналу, а це означає, що ви не зможете більше налагоджувати RPi через послідовний порт. У цьому випадку ви повинні використовувати інші методи для налагодження RPi перед запуском даної програми. Наприклад, ви можете підключити зовнішній дисплей HDMI до RPi або використовувати SSH.
Програмний код зберігається у файлі uart.py
#!/usr/bin/python
# -*- coding:utf-8 -*-
import serial

#ser = serial.Serial("/dev/ttyAMA0",115200)
ser = serial.Serial("/dev/ttyS0",115200)

print('serial test start ...')
ser.write("Hello World !!!\n")
try:
    while True:
        ser.write(ser.read())
except KeyboardInterrupt:
    if ser != None:
        ser.close()
Для запуска програми перейдіть в директорію ~/Pioneer600/UART/python і в термінальному режимі введіть команду:
sudo python uart.py
Завдання
Виведіть в термінальному режимі повідомлення Welcome to PTF!

РОБОТА З ПЛАТОЮ РОЗШИРЕННЯ

Raspberry Pi (RPi) – мікрокомп’ютер з хорошими обчислювальними можливостями та мережними інтерфейсами. Але часто не вистачає входів/виходів для організації взаємодії з сенсорами і виконавчими механізмами. Один з шляхів вирішення проблеми – використовувати його разом з мікроконтролером Arduino.
Arduino - це велика екосистема і інтерфейс RPi з виводами GPIO можна адаптувати до виводів Arduino. В цьому випадку, можна використовувати RPi разом з багатьма платами розширення Arduino та його апаратними/програмними ресурсами. ARPI600 якраз і призначений для цього. Більше того, ARPI600 також підтримує модулі XBee, що полегшує додавання бездротових функцій до проекту.
Параметри:
·    Сумісність з Arduino UNO, Leonardo та різними платами апаратного розширення Arduino
·    Роз'єм XBee для підключення різних модулів XBee.
·    Сенсорний інтерфейс для підключення різних сенсорів.
·    Вбудований перетворювач USB TO UART для налагодження послідовного порту. Також можна його налаштувати як адаптер XBee.
·    АЦП на платі, 10 біт, 38KSPS, 11 каналів (6 каналів для інтерфейсу Arduino, 5 каналів для сенсорів).
·    Годинник реального часу на платі (RTC)
Елементи плати
1.  Роз’єми для підключення різних плат апаратного розширення Arduino.
2. ICSP-інтерфейс: Arduino ICSP (ICSP - In Circuit Serial Programming). ICSP дозволяє програмувати мікросхему, яка вже підключеної в деяку, використовуючи послідовний протокол, наприклад, перезапис завантажувача.
3. Роз'єм XBee для підключення різних модулів з інтерфейсом XBee.
4.  Сенсорний інтерфейс для підключення різних сенсорів.
5. Роз'єм для підключення RPi
6.  USB TO UART
7.  TLC1543: АЦП.
8.  PCF8563: RTC
9.  CP2102
10.  Кварц 32,768 КГц: для RTC
11.  Індикатор живлення
12.  Індикатор стану XBee
13.  Кнопка RESET інтерфейсу XBee та Arduino
14.  Кнопка EASYLINK XBee
15.  Тримач батареї RTC: для батареї CR1220
16.  TLC1543 - перемикач для опорної напруги (5 В або 3,3 В)
17.  Перемички RTC
18.  Перемички UART:
·    коли підключені P_RX і CP_TX, P_TX та CP_RX, то USB TO UART підключено до послідовного порту RPi;
·    коли підключені XB_RX та CP_TX, XB_TX та CP_RX, відповідно, то USB TO UART підключено до послідовного порту XBee;
·    коли підключення XB_RX та P_TX, XB_TX та P_RX, відповідно, то послідовний порт RPi підключений до послідовного порту XBee.
19.  Перемички вибору АЦП Arduino:
·    закорочені 2 і 3: виводи A0-A5 Arduino як входи АЦП;
·    закорочені 1 і 2: виводи A0-A5 Arduino цифрові.
20.  Перемички вибору I2C Arduino:
·    перемичка закорочена: виводи A4-A5 Arduino для керування I2C (необхідно видалити перемичку для вибору A4-A5 АЦП Arduino)
21.  Перемичка вибору SPI Arduino:
·    закорочені 1 і 2: виводи D11-D13 Arduino для керування SPI (за замовчуванням);
·    закорочені 2 та 3: виводи D11-D13 Arduino як цифрові.
Інсталяція бібліотек для RPi
Щоб використати ARPI600 спільно з RPi необхідні деякі бібліотеки, які встановимо вручну. Це бібліотеки:
·    bcm2835 libraries
·    wiringPi libraries
Інсталяція бібліотеки WiringPi
Копіюйте інсталяційний пакет на свою власну систему через USB флешку, або скористайтеся WiSCP, щоб перекинути директорію з десктопного комп’ютера на RPi. Зайдіть в директорію WiringPi і виконайте інсталяцію:
sudo chmod 777 build
./build
Запустіть наступну команду для перевірки інсталяції:
gpio –v
Інсталяція бібліотеки C bcm2835
Хоча на Raspberry Pi 3 використана схема bcm2837, а не bcm2835, на сайті розробника плати запевняють, що бібліотека для bcm2835 працює. Цікаво, а як з підримкою 4-х ядер?
Перейдіть за посиланням, щоб завантажити бібліотеку bcm2835-1.55. Також останню версію бібліотеки можна отримати на сайті bcm2835: http://www.airspayce.com/mikem/bcm2835/
Копіюйте інсталяційний пакет на RPi, перейдіть в директорію bcm2835-1.55 бібліотек, щоб виконати наступні команди для інсталяції:
./configure
make
sudo make check
sudo make install
Інсталяція бібліотек Python
Бібліотеки Python для Raspbian (вміщують інсталяційні пакети RPi.GPIO і spidev. Див.: https://pypi.python.org/pypi/RPi.GPIO https://pypi.python.org/pypi/spidev) отримують за допомогою команд пакету apt-get.
Переконайтеся, що ваш Raspberry Pi підключений до мережі, коли використовуєте команди apt-get для інсталяції бібліотек. Перед інсталяцією вам необхідно запустити наступну команду, щоб оновити список програмного забезпечення:
sudo apt-get update
1. Запустіть наступну команду для інсталяції пакету python-dev:
sudo apt-get install python-dev
2. Інсталюйте пакет RPi.GPIO (функції інтерфейсу GPIO). Копіюйте інсталяційний пакет RPi.GPIO (https://pypi.python.org/pypi/RPi.GPIO) на свою плату RPi і розархівуйте його. Зайдіть в створену директорії з терміналу і запустіть наступну команду для інсталяції бібліотеки:
sudo python setup.py install
3. Запустіть наступну команду для інсталяції бібліотеки smbus (функції інтерфейсу I2C):
sudo apt-get install python-smbus
4. Запустіть наступну команду для інсталяції бібліотеки послідовного порта, яка підтримує функції інтерфейсу UART:
sudo apt-get install python-serial
5. Інсталюйте бібліотеки spidev (функції SPI). Копіюйте інсталяційний пакет spidev (https://pypi.python.org/pypi/spidev) на вашу плату RPi і розархівуйте його. Зайдіть в створену директорії і запустіть з терміналу наступну команду для інсталяції бібліотеки:
sudo python setup.py install
6. Запустіть наступну команду для інсталяції бібліотеки Python:
sudo apt-get install python-imaging
Конфігурація інтерфейсів
(Перед тим, як запустити надані нам коди API, слід запустити відповідні драйвери основних інтерфейсів. У файлі образу готової системи для використання як I2C, так і SPI встановлені значення Дозволено за замовчуванням, але послідовний порт все ще знаходиться в режимі функціональної налагодження термінала.)
1. Увімкніть функцію I2C. Запустіть наступну команду для конфігурації плати RPi:
sudo raspi-config
Виберіть Advanced Options -> I2C -> yes для запуску драйвера ядра I2C. Після цього треба модифікувати файл конфігурації. Запустіть наступну команду, щоб відкрити для редагування файл конфігурації:
sudo nano /etc/modules
Додайте наступні два рядки у файл конфігурації:
i2c-bcm2708
i2c-dev
Натисніть клавіші Ctrl+X для виходу і введіть Y, щоб зберегти зміни. Тепер перезавантажте модуль, щоб зміни почали працювати.
2. Увімкніть функцію послідовного порта. Послідовний порт RPi встановлений для виконання функції режиму налагодження послідовного терміналу. Якщо ви хочете, щоб служби послідовного порту були загальними IO, вам слід змінити налаштування на RPi. Коли функція налагодження терміналу вимкнена, буде неможливо отримати доступ до плати RPi через послідовний порт. Якщо хочете керувати RPi, вам може знадобитися знову ввімкнути функцію налагодження послідовного порту.
sudo raspi-config
Виберіть Advanced Options -> Serial. Виберіть опцію no, щоб відключити функцію налагодження послідовного порта. І тоді, послідовний порт може бути використаний для послідовного зв'язку. Виберіть опцію yes, щоб увімкнути функцію налагодження послідовного порта. Вам слід перезавантажити модуль, щоб ввести в дію налаштування.
Примітка: послідовний порт на Raspberry Pi 3 Model B не можна відразу використати, тому що виводи 14 і 15 підключені до вбудованого модуля Bluetooth. Для використання необхідно спочатку внести зміни у файл конфігурації.
3. Запустіть функцію spi за допомогою наступної команди:
sudo raspi-config
Виберіть Advanced Options -> I2C -> yes, щоб запустити драйвер ядра I2C.
Налаштування годинника реального часу (RTC)
1.    Перевірте, чи встановлені перемички RTC JMP на ARPI600.
2.    Відкрийте LXTerminal на робочому столі Raspbian і введіть код:
i2cdetect -y 1
3.    Тепер, ви повинні побачити адресу пристрою PCF8563, підключеного до RPi. Нижче на рис. адреса пристрою PCF8563 - 51, що означає, що PCF8563 ідентифікований RPi.
Адреси пристроїв PCF8563, приєднаних до RPi:
4.    Відкрийте LXTerminal і виконайте команди:
modprobe i2c-devsudo chmod 766 home/sys/class/i2c-adapter/i2c-1/new_device
echo pcf8563 0x51 > /sys/class/i2c-adapter/i2c-1/new_device
hwclock
(Прочитайте час приєднаного через шину I2C RTC. LXTerminal покаже час від PCF8563, який може відрізнятися від часу Raspbian)
5.    Запустіть LXTerminal і виконайте команди:
hwclock -w (записати час Raspbian в PCF8563)
hwclock -r (синхронізувати час від Raspbian на PCF8563)
hwclock -s (синхронізувати час Raspbian за допомогою RCT)
Завдання
Реалізуйте синхронізацію часу від PCF8563 до Raspbian, якщо відсутній доступ до Інтернету, і від Raspbian до PCF8563, якщо є такий доступ.

1.Програмування ВЕБ-БОТ НА PYTHON

Ми можемо зробити так, щоб деякі з нудних, повторюваних завдань, виконували не ми самі, а комп'ютери. Наприклад, можемо запрограмувати бота сканувати веб-сторінки, переходячи за посиланнями і завантажуючи файли, які він знайде. Знання, як програмувати і використовувати такого бота, можуть бути неймовірно корисною навичкою.
Python добре підходить для організації роботи веб-бота, який також називається в даному контексті павуком. Є кілька модулів, які треба завантажити, а потім зможете запрограмувати повнофункціонального бота, щоб виконати своє завдання, починаючи з будь-якої сторінки, яку задаєте. Обхід веб-сторінок і завантаження інформації - завдання не для страшно інтенсивної роботи процесора, тому добре підходить для Raspberry Pi. У той час, як ваш звичайний настільний комп'ютер обробляє більш складні обчислювальні задачі, RPi може обробляти легкі завдання, необхідні для завантаження веб-сторінок, щоб розібрати їх текст і перейти за посиланнями для завантаження файлів.
Бот-етикет
Одним з факторів, який треба мати на увазі, коли будуєте працюючий веб-сканер, це бот-етикет. Мається на увазі етикет в тому сенсі, що, швидше за все, є певні тонкощі, яких ви повинні дотримуватися при програмуванні бота для обходу сайтів.
Одним з них є необхідність поважати файл robots.txt. Більшість сайтів мають цей файл в кореневій папці сайту. Це простий текстовий файл, який містить інструкції для відвідування ботів і павуків. Якщо власник сайту не хоче сканування певних сторінок та їх індексування, то він перераховує ці сторінки і каталоги в текстовому файлі і ввічливі боти прислухаються до його запитів.
Формат файлу простий і виглядає наступним чином:
User-agent: *
Disallow: /examples/
Disallow: /private.html
Файл robots.txt вказує, що ніякі боти (User-Agent: *) не можуть відвідати (сканувати) будь-які сторінки в папці /examples/, а також вони не можуть відвідати сторінку private.html. Файл robots.txt є стандартним механізмом, за допомогою якого веб-сайти можуть обмежити відвідування певних сторінок. Якщо хочете, щоб вашого бота вітали на всіх сайтах, то буде гарною ідеєю слідувати цим правилам.
Далі пояснимо, як це зробити. Якщо ж ви вирішили ігнорувати ці правила, то часто можете очікувати, що ваш бот (і всі відвідування з вашої IP-адреси) будуть заборонені на сайті, про який йде мова.
Інша частина етикету контролює швидкість інформаційних запитів вашого бота. Оскільки ботами є комп'ютери, то вони можуть відвідувати і завантажувати сторінки та файли в сотні і тисячі разів швидше, ніж можуть це робити люди. З цієї причини цілком можливо для бота, що він зробить настільки багато запитів на сайті за настільки короткий проміжок часу, що може вивести з ладу погано налаштований веб-сервер. Тому ввічливо тримати запити бота до сторінки на керованому рівні: більшість власників сайтів вважають нормальним близько 10 запитів до сторінки в секунду, що набагато більше, ніж можна зробити вручну, але не досить, щоб зруйнувати сервер. Знову ж таки, в Python, це можна зробити за допомогою простої функції sleep().
І, нарешті, часто може бути проблемою підробка вашого особистого агента користувача. Ідентифікатор агента користувача ідентифікує відвідувачів на сайті. Браузери Firefox мають певного свого агента користувача, Internet Explorer має іншого, а боти - ще іншого. Тому, що є багато сайтів, які не хочуть давати всім ботам відвідувати або сканувати свої сторінки, деякі бот-розробники надають своїм ботам шахрайського агента користувача, щоб змусити його виглядати як звичайний веб-браузер. Це не круто. Вас ніколи не зможуть виявити, але це питання порядності, бо якщо у вас є сторінки, які б хотіли залишити конфіденційними, і ви хочете, щоб інші поважати ці ваші бажання, то робіть те ж саме для власників інших сайтів. Це всього лише частина того, щоб бути хорошим бот-розробником і користувачем Мережі. Ви можете імітувати агента користувача браузера, якщо емулюєте браузер для таких інших цілей, як тестування сайту або щоб знайти і завантажити файли (PDF-файли, MP3 і т.д.), але не для сканування цих сайтів.
Зв'язки веба
Перш, ніж ми перейдемо до програмування нашого павука, ви повинні трохи розуміти, як працює Інтернет. Так, це в основному гігантська комп'ютерна мережа, але ця мережа слідує певним правилам і використовує певні протоколи, і ми повинні використовувати ці протоколи для того, щоб зробити щось в Інтернеті, в тому числі, з використанням павука.
Протоколи веб-комунікацій
Hyper Text Transfer Protocol (HTTP) - протокол передачі гіпертексту - це формат, в якому втілено найбільш поширений веб-трафік. Протокол – це просто угода між двома сторонами з’єднання (в даному випадку, комп'ютерами), як це спілкування організувати. Він включає в себе таку інформацію, як, яким чином дані адресуються, як визначити, чи мали місце помилки під час передачі (і як обробляти ці помилки), як інформація повинна подорожувати між джерелом і пунктом призначення, який формат має ця інформація. "HTTP" перед більшістю URL (Uniform Resource Locators) визначає протокол, який використовується для запиту до сторінки. Інші поширені протоколи, які використовуються, такі: TCP/IP (Transmission Control Protocol/Internet Protocol), UDP (User Datagram Protocol), SMTP (Simple Mail Transfer Protocol) і FTP (File Transfer Protocol). Який протокол використовується, залежить від таких факторів, як тип трафіку, швидкість роботи запитів, чи потрібно потоки даних подавати в певному порядку і які помилки цих потоків можуть бути ігноровані чи виправлені.
Розглянемо, що відбувається за лаштунками при запиті веб-сторінки з вашого браузера. Припустимо, ви ввели http://www.irrelevantcheetah.com в рядку адреси. Ваш комп'ютер, знаючи, що він використовує протокол HTTP, спочатку відправляє www.irrelevantcheetah.com на свій локальний DNS-сервер (Domain Name System), щоб визначити, якій адресі в Інтернеті він належить. Сервер DNS відповідає з IP-адресою, скажімо, 192.185.21.158. Це адреса сервера, який містить веб-сторінку для цього домену. DNS прив’язує IP-адреси до імен, які набагато простіші для вас, і легше пам'ятати "www.irrelevantcheetah.com", ніж запам'ятати "192.185.21.158".
Тепер, коли ваш комп'ютер знає IP-адресу сервера, він ініціює TCP-з'єднання з цим сервером, використовуючи тристороннє «рукостискання». Сервер відповідає і ваш комп'ютер запитує сторінку "index.html". Сервер знову відповідає, а потім закриває з'єднання TCP.
Ваш браузер читає кодування на сторінці і відображає його. Якщо є інші частини сторінки, які йому необхідні, наприклад, PHP-код або зображення, він запитує ті частини або зображення з сервера і відображає їх також.
Формати веб-сторінок
Більшість веб-сторінок форматовано в HTML-HypeText Markup Language. Це форма XML (Extensible Markup Language), яку досить легко читати і аналізувати, і вона може бути зрозуміла більшості комп'ютерів. Браузери запрограмовані інтерпретувати мову сторінки і відображати ці сторінки в певному сенсі. Наприклад, пара тегів <html>  і </html> вказують на те, що сторінка в HTML. <i> і </i> вказують, що укладений текст написаний курсивом, а <a> і </a> вказують гіперпосилання, яке зазвичай відображається синім кольором і підкресленням. JavaScript оточений тегами <script type="text/javascript"></script>. Також різні інші активні теги оточують різні мови і сценарії.
Всі ці теги і формати роблять перегляд і читання сирих веб-сторінок легким для людей. Проте, вони також мають ефект робити їх легким для комп'ютерів, щоб розібрати ці сторінки. Зрештою, якби ваш браузер не міг декодувати сторінки, то Інтернету не існувало б в його нинішньому вигляді. Але вам не потрібен браузер, щоб тільки запросити і прочитати веб-сторінки, відображаючи їх, як тільки отримали. Ви можете написати сценарій для запиту веб-сторінок, читання їх і виконання попередніх скриптових завдань для інформації на сторінках - все без втручання людини. Таким чином, ви можете автоматизувати довгий, нудний процес пошуку конкретних посилань, сторінок і відформатованих документів, переклавши його на RPi. Це і є веб-бот.
Приклад запиту
Для простоти, давайте почнемо з того, що ми запросили сторінку http://www.carbon111.com/links.html.
Текст даної сторінки досить простий - це статична сторінка, в кінці кінців, без фантастичної веб-форми або динамічного контенту, і виглядає подібно до цього:
<HTML>
<HEAD>
<TITLE>Links.html</TITLE>
</HEAD>
<BODY BACKGROUND="mainback.jpg" BGCOLOR="#000000"
TEXT="#E2DBF5" LINK="#EE6000" VLINK="#BD7603" ALINK="#FFFAF0">
<br>
<H1 ALIGN="CENTER">My Favorite Sites and Resources</H1>
<br>
<H2>Comix, Art Gallerys and Points of Interest:</H2>
<DL>
<DT><A HREF="http://www.alessonislearned.com/index.html" TARGET="blank">
A Lesson Is Learned...</A>
<DD>Simply amazing! Great ideas, great execution. I love the depth of humanity these two dig into. Not for the faint-of-heart ;)
.
.
і так далі, до кінцевого закриття тегом </HTML>.
Якщо павук отримав цю сторінку за допомогою з’єднання TCP, то спочатку дізнався б, що сторінка форматується в HTML. Далі б він вивчив заголовок сторінки і міг почати пошук для: а) зміст, який згідно поставленого завдання треба знайти (наприклад, файли в форматі .mp3 або .pdf) і б) посилання на інші сторінки, які будуть міститися в тегах <A> </A>. Павук також може бути запрограмований слідувати за посиланнями на певну "глибину". Іншими словами, ви можете вказати, чи повинен бот переходити за посиланнями на пов'язаних сторінках або йому слід припинити такі переходи за посиланнями після другого шару. Це дуже важливе питання, тому що, якщо програма має занадто багато шарів, то ваш павук може, в кінцевому підсумку, сканувати (і завантажувати) весь Інтернет – це стане критичною проблемою, якщо ваша полоса пропускання і обсяг зберігання обмежені!
Концепція нашого веб-бота
Концепція нашого веб-бота виглядає наступним чином: ми почнемо з певної сторінки, на основі призначеного користувачем входу. Потім визначимо, які файли ми шукаємо, наприклад, будемо шукати у вільному доступі файли робіт в форматі .pdf або вільно доступні .mp3 файли з нашими улюбленими групами? Цей вибір також буде запрограмований в нашому боті.
Бот буде починати з початку сторінки і аналізуватиме весь текст на сторінці. Він шукатиме текст, що міститься в тегах <a href> </a> (гіперпосилання.) Якщо гіперпосилання закінчується в ".pdf" або ".mp3" або іншим обраним типом файлу, то зробимо виклик wget (інструмент завантаження з командного рядка), щоб завантажити файл в наш локальний каталог. Якщо не можемо знайти будь-які посилання на обраний нами тип файлу, то будемо стежити за посиланнями, які знаходимо, повторюючи процес для кожного з цих посилань рекурсивно, як заздалегідь визначимо. Коли ми зайдемо так далеко, як хотіли, то повинні мати повний файлів каталог, які будуть переглянуті в довільний час. Це те, для чого веб-бот, дозволяючи комп'ютеру виконувати необхідну роботу, в той час, як ви насолоджувались лимонадом і чекали, щоб помилуватися плодами своєї праці.
Парсинг веб-сторінок
Парсинг відноситься до процесу в комп'ютері, коли той "читає" веб-сторінки. За своєю суттю, веб-сторінка є не більше, ніж потік даних, який складається з бітів і байтів (байт становить вісім біт), які декодуються, номерів форм, букв і символів. Хороша програма синтаксичного аналізу не тільки може повторно сформувати цей потік даних в потрібні символи, вона може зчитувати переформований потік і "розуміти", що вона читає. Веб-бот повинен бути в змозі розібрати сторінки, завантажені ним, так як ці сторінки можуть/повинні містити посилання на інформацію, на вилучення якої він запрограмований. Python має кілька доступних різних модулів синтаксичного аналізу, і ви повинні експериментувати, але найбільш корисним модулем вважаємо Beautiful Soup.
Примітка: Beautiful Soup названий на честь пісні Mock Turtle’s Льюїса Керролла (1855):
Beautiful Soup (бібліотека Python) пройшов через кілька версій; в цьому занятті використовується 4-та версія, яка працює в обох Python 2.x і 3.x.
Синтаксис Beautiful Soup досить простий. Після того, як ви встановили його, набравши:
sudo apt-get install python-bs4
можете почати використовувати його в своїх сценаріях. Відкрийте Python, набравши python і спробуйте ввести наступне:
import BeautifulSoup
Якщо отримаєте повідомлення про помилку, яка говорить: "No module named BeautifulSoup", ймовірно, ви використали бета-версію Beautiful Soup 4 (BS4) -версія за замовчуванням в цьому занятті. В такому випадку, введіть:
from bs4 import BeautifulSoup
Потім продовжуйте вводити:
import re
doc = ['<html><head><title>Page title</title></head>',
'<body><p id="firstpara" align="center">This is paragraph <b>one</b>.',
'<p id="secondpara" align="blah">This is paragraph <b>two</b>.',
'</html>']
soup = BeautifulSoup(''.join(doc)) # це два апострофа, один за іншим, а не подвійні лапки
Це завантажує файл з ім'ям doc, тому потік веб-сторінки буде виглядати як довгий єдиний потік символів. Потім Soup завантажує рядки в файл, який може бути розібраний бібліотекою. Якщо ви введете print soup в даний момент, то виведене буде виглядати так само, як результати введення print doc. Проте, якщо наберете:
print soup.prettify()
то будете винагороджені сторінкою, переробленою в більш доступну форму. Це просто приклад того, що може зробити Beautiful Soup. Поговоримо про нього більше, коли перейдемо до програмування бота.
Трохи пояснень: модуль re, імпортований вами в попередньому прикладі, використовується для оцінки регулярних виразів в тексті. Регулярні вирази, якщо ви не знайомі з ними, є надзвичайно універсальним способом пошуку за допомогою тексту і вибору рядків та послідовностей символів способами, які не можуть бути негайно очевидні для читача-людини. Терміни регулярного виразу можуть виглядати як повна маячня: хороший приклад регулярного виразу являє собою послідовність (?<=-)\w+, яка шукає послідовність символів в рядку, які йдуть після дефісу. Для того, щоб спробувати його, відкрийте командний рядок Python, набравши python, а потім введіть
import rem = re.search('(?<=-)\w+', 'free-bird')
m.group(0)
і ви будете винагородженні "bird".
У той час, як регулярні вирази дуже корисні з точки зору знаходження послідовності символів в тексті і рядках, вони також не дуже інтуїтивні і виходять далеко за рамки даного заняття. Не будемо тут витрачати багато часу на них. Досить того, що ви знаєте про те, що вони існують, і можете витратити деякий час на вивчення них, якщо вони вас цікавлять.
Програмування з модулями Python
Коли мова заходить про використання різних модулів Python при програмуванні вашого веб-павука, то ви маєте багато варіантів. Багато павуків з відкритим вихідним кодом вже існують і ви могли б запозичити їх, але буде хорошим досвідом, щоб запрограмувати павука з нуля.
Наш павук повинен буде зробити кілька речей, щоб виконати те, для чого він нам потрібний. Потрібно буде ініціювати TCP-з'єднання і запитувати сторінки, аналізувати отримані сторінки, завантажувати важливі файли, які він знаходить, і переходити за посиланнями, які трапляються. На щастя, більшість з них досить прості завдання, тому програмування нашого павука повинне бути відносно простим.
Використання модуля Mechanize
Ймовірно, найбільш використовуваний модуль, коли справа доходить до автоматизованого перегляду веб-сторінок, mechanize є одночасно неймовірно простим і неймовірно складним. Він простий у використанні і може бути встановлений за допомогою декількох простих рядків коду, але він також оснащений функціями, які багато користувачів не в повній мірі використовують. Це відмінний інструмент для автоматизації таких завдань, як тестування веб-сайту: якщо потрібно увійти в сайт 50 разів з 50 різними комбінаціями ім'я користувача/пароль, а потім заповнити форму адрес пізніше, mechanize - ваш інструмент вибору. Ще однією приємною річчю є те, що він робить велику частину роботи, наприклад, ініціювання з'єднань TCP і ведення переговорів з веб-сервером за лаштунками, тому можете зосередитися на частині, яка завантажується.
Щоб використовувати mechanize в сценарії, ви повинні спочатку завантажити та встановити його. Якщо ви слідували за нами, то Python все ще відкритий, але вам буде потрібний звичайний інтерфейс командного рядка для процесу завантаження і установки. Є два варіанти: ви можете вийти з режиму інтерфейсу розробника Python, або відкрити інший сеанс терміналу. Якщо вважаєте за краще мати відкритою тільки одну термінальну сесію, то вийдіть з командного рядка Python в поточному вікні, набравши Ctrl+d, який поверне до нормального рядку терміналу. З іншого боку, якщо вирішили відкрити інший сеанс терміналу, то можете залишити сеанс Python працюючим, і все, що ви набрали досі, буде в пам'яті.
Який би варіант ви не вибрали, введіть з командного рядку
wget http://pypi.python.org/packages/source/m/mechanize/mechanize-0.2.5.tar.gz
коли закінчиться завантаження, розпакуйте файл з
tar -xzvf mechanize-0.2.5.tar.gz
і перейдіть в папку з результатом, ввівши cd. Потім запустіть:
sudo python setup.py install
Дотримуйтесь усіх попереджень на екрані і mechanize буде встановлений та готовий до використання.
Парсинг з Beautiful Soup
Вище ми вже згадували парсинг: Beautiful Soup, як і раніше, кращий спосіб виконувати його. Надіємось, що Beautiful Soup ви вже встановили, як пропонувалося вище. Як тільки ви завантажуєте сторінку, Beautiful Soup реагує для пошуку посилань і передаючи їх до функції, яку будемо використовувати для завантаження, а також відкладає ті посилання, за якими буде переходити пізніше.
В результаті цього, однак, виявляється, що робота з пошуку посилань і визначення того, що завантажувати, має основну проблему з рядками. Іншими словами, посилання (і текст, що міститься в них) є нічим іншим, як рядки. І ми прагнемо розгадати ці посилання та перейти за ними або завантажити їх, тому будемо виконувати багато роботи з рядками - роботи, починаючи від lstrip (видалення символу зліва), щоб розділити, та різні інші методи з бібліотеки рядків. Мабуть, найцікавіша частина веб-бота, врешті-решт, це не файли, які він викачує; скоріше, це маніпуляції, які ви повинні зробити, щоб потрапити туди.
Завантаження з бібліотекою urllib
Останньою частиною головоломки є бібліотека urllib, зокрема, її функція URLopener.retrieve(). Ця функція використовується для завантаження файлів, плавно і без метушні. Ми передаємо їй ім'я нашого файлу і нехай вона робить свою справу.
Щоб використовувати urllib, ви повинні спочатку імпортувати її. Перемкніться на термінал з командним рядком Python, якщо він все ще відкритий, або почніть нову сесію, набравши python. Потім введіть:
import urllib
щоб зробити його доступним для використання.
Бібліотека urllib використовує такий синтаксис:
image = urllib.URLopener()
image.retrieve ("http://www.website.com/imageFile.jpg", "imageFile.jpg")
де перший параметр, що посилається в функцію URLopener.retrieve() є URL файлу, а другий параметр є локальним ім'ям файлу, під яким файл буде збережений. Другий параметр імені файлу вказує конвенції Linux для файлів і каталогів. Якщо ви передаєте йому параметр “../../imageFile.jpg”, то imageFile.jpg буде збережений через дві папки в дереві каталогів. Точно так же, передаючи йому параметр “pics/imageFile.jpg”, збережемо його в папку pics всередині поточної директорії (з якої запущений сценарій). Проте, папка повинна вже існувати; retrieve() не створить каталог.
Вирішуємо, що завантажити
На жаль (чи на щастя, в залежності від вашої точки зору), багато того, що можна завантажити, захищено авторським правом, так що навіть, якщо ви знайшли щось безкоштовне, насправді це не круто просто завантажити його. Перегляньте, що ви знайшли.
Однак, це тема з абсолютно іншого напрямку. Зараз, давайте припустимо, що ви збираєтеся шукати інформацію, яка вільно доступна, така, як всі твори Марка Твена, які знаходяться у вільному доступі. Це означає, що, ймовірно, буде шукати .pdf, .txt, і, можливо, навіть .doc або .docx файли. Можливо, ви навіть хочете розширити параметри свого пошуку, щоб включити .mobi (Kindle) і .epub файли, а також .chm. Це все законні формати файлів, які можуть містити тексти книг, які шукаєте.
Вибираємо відправну точку
Наступна річ, яку необхідно зробити, це вибрати відправну точку. Ви можете бути схильні просто сказати: "Google!", Але з десятками мільйонів результатів пошуку з простим пошуком "Марк Твен", вам, ймовірно, буде краще трохи більше сфокусуватися. Зробіть невелику основу заздалегідь, і збережете пізніше свої години роботи (і свого бота). Якщо, наприклад, можете знайти онлайновий архів робіт Твена, то це було б чудовою відправною точкою. Якщо шукаєте безкоштовне завантаження музики, то можете отримати загальний список блогів, які показують нові музичні файли вгорі і найновіші записи, бо багато нових музикантів дають скачати пісні на цих блогах геть безкоштовно з метою просування їх і їхньої музики. Крім того, технічні документи, що стосуються специфікацій IEEE мережі, ймовірно, можна знайти на технічному сайті або навіть урядовому сайті, з набагато більшим успіхом, ніж широкий пошук в Google.
Зберігаємо наші файли
Вам також може знадобитися місце для зберігання файлів, в залежності від розміру SD карти вашого RPi. Ця карта використовується як RAM і як місце для зберігання файлів, тому, якщо використовуєте карту 32 ГБ, то будете мати багато місця для файлів в форматі .pdf. Проте, 4-Гб карта може заповнитися досить швидко, якщо завантажуєте файли безкоштовних документальних фільмів. Так що вам знадобиться зовнішній USB жорсткий диск - повномасштабний жорсткий диск або флеш-диск меншого розміру.
Знову ж таки, деякий експеримент може стати в нагоді, тому що деякі зовнішні диски не зможуть добре працювати з RPi. Тому спочатку спробуйте їх.
Пишемо Python Bot
Давайте почнемо писати деякий код на Python. Наступний код імпортує необхідні модулі і використовує input (введення) версії мови Python, щоб отримати початкову точку (яка буде вставлятися перед "http://" в кожній веб-адресі). Потім він може ініціювати "browser" (з повітряними лапками) за допомогою mechanize.Browser(). Цей код, в своєму остаточному заповненому вигляді, наведений в кінці цього заняття.
Для того, щоб почати процес написання бота, використайте текстовий редактор (Leafpad або nano) і створіть новий файл з іменем webbot.py. Наберіть наступне (Python 2):
from bs4 import BeautifulSoup
import mechanize
import time
import urllib
import string
start = "http://" + raw_input ("Where would you like to start searching?\n")
br = mechanize.Browser()
r = br.open(start)
html = r.read()
Надалі нам, можливо, треба буде фальсифікувати агента користувача, в залежності від сайтів, які ми відвідуємо, але цей код на даний момент буде працювати.
Читання рядка і вилучення всіх посилань
Після того, як у вас є об'єкт браузера, який в попередньому коді називається br, то можете зробити всі види завдань з ним. Ми відкрили необхідну початкову сторінку від користувача з br.open() і прочитали його як один довгий рядок html. Тепер ми можемо використовувати Beautiful Soup, щоб прочитати цей рядок і витягти з нього всі посилання, додавши наступні рядки:
soup = BeautifulSoup(html)
for link in soup.find_all('a'):
       print (link.get('href'))
Тепер можете запустити сценарій, щоб спробувати його. Збережіть його і закрийте. Відкрийте сеанс терміналу і перейдіть в той же каталог, в якому створили webbot.py. Потім введіть:
python webbot.py
щоб запустити програму, і введіть isearch.kiev.ua, коли він запитує, з чого почати. Вона повинна дещо повернути, а потім зупиниться:
Ви успішно прочитати вміст http://isearch.kiev.ua, витягнули посилання , і вивели це посилання на екран. Це дивовижний старт!
Наступним логічним кроком є створення списку посилань і додавання до цього списку щоразу, коли Beautiful Soup знаходить інше посилання. Після цього можете пройти по списку, відкриваючи кожне посилання з іншим об'єктом браузера і повторити процес.
Перегляд і завантаження файлів
Однак, перед тим, як ми створюємо список посилань, є ще одна функція, яку ми повинні створити - та, яка насправді шукає і завантажує файли! Тому давайте шукати код на сторінці для типу файлу. Ймовірно, ми повинні повернутися назад і запитати, який тип файлу шукаємо, додавши наступний рядок коду на початку сценарію після рядка старту:
filetype = input("What file type are you looking for?\n")
Тепер, коли ми знаємо, що шукаємо, додаємо кожне посилання до списку і можемо перевірити, чи  це посилання на файл, який ми хочемо. Якщо шукаємо файли в форматі .pdf, наприклад, то можемо розібрати за посиланням, щоб побачити, чи вона закінчується pdf. Якщо так, то викликаємо URLopener.retrieve() і завантажуємо файл. Знову відкрийте свою копію webbot.py і замініть блоку коду наступним:
for link in soup.find_all('a'):
       linkText = str(link)
       if filetype in linkText:
             #download file code here
Ви помітите два елементи в цьому маленькому фрагменті коду. По-перше, був доданий str(link). Beautiful Soup знаходить для нас кожне посилання на сторінці, але повертає його як об'єкт посилання, який є безглуздим без Soup-коду.
Нам потрібно перетворити його в рядок, щоб працювати з ним і робити все наші хитрі маніпуляції. Це те, що робить виклик методу str(). Насправді, Beautiful Soup пропонує спосіб, щоб зробити це для нас, але для навчання розібрати рядок з функцією str() важливо. По суті справи, саме тому ми використали рядок import string на початку нашого коду, тому тепер можемо взаємодіяти з об'єктами рядка.
По-друге, як тільки посилання є рядком, ви можете побачити, як можемо використати Python для виклику. Подібний до методу String.contains() в С#, Python для виклику просто шукає рядок, щоб побачити, чи містить він запитуваний підрядок. Тому, в нашому випадку, якщо шукаємо файли в форматі .pdf, то можемо шукати текст посилання для цього підрядка, "pdf". Якщо у ньому він є, то це посилання нас цікавить.
Тестування бота
Для того, щоб протестувати нашого бота простіше, автор створив сторінку в http://www.irrelevantcheetah.com/browserimages.html, яку використовує для тестування. Вона містить зображення, файли, посилання, а також різні інші HTML-ласощі. Використовуючи цю сторінку, ми можемо почати з чогось простого, типу зображень. Так що давайте змінимо код нашого webbot.py і щоб він виглядав наступним чином:
import mechanize
import time
from bs4 import BeautifulSoup
import string
import urllib
start = "http://mikrotik.kpi.ua/index.php"
filetype = raw_input ("What file type are you looking for?\n")
br = mechanize.Browser()
r = br.open(start)
html = r.read()
soup = BeautifulSoup(html)
for link in soup.find_all('a'):
       linkText = str(link)
       fileName = str(link.get('href'))
       if filetype in fileName:
             image = urllib.URLopener()
             linkGet = "http://www.irrelevantcheetah.com" + fileName
             filesave = string.lstrip(fileName, '/')
             image.retrieve (linkGet, filesave)
Останній розділ цього коду, починаючи з циклу, вимагає деякого пояснення. В циклі перебираються всі посилання, які Beautiful Soup знайшов для нас. Потім linkText перетворює ці посилання в рядки, тому можемо маніпулювати ними. Потім перетворюємо тіло посилання (фактичний файл або сторінку, на яку вказує посилання) на рядок, а також перевіряємо, щоб побачити, чи він містить тип файлу, який шукаємо. Якщо так, то додаємо його до базового URL сайту, що надає нам linkGet.
Останні два рядки необхідні через функцію retrieve(). Як ви пам'ятаєте, ця функція приймає два параметри: URL файлу, який завантажуєте, і локальне ім’я, під яким ми хотіли б зберегти цей файл. filesave приймає fileName, знайдений раніше, і видаляє слеш "/" в імені, щоб ми могли зберегти його. Якщо не зробимо цього, то fileName спробує зберегти з папкою, наприклад, - /images/flower1.jpg. Якби ми спробуємо зберегти зображення з таким ім'ям, то Linux спробує зберегти flower.jpg в папку /images, а потім видає повідомлення про помилку, бо папка /images не існує. Знищивши слеш "/", ім'ям файлу буде images/flower1.jpg, і поки є папка images в нашій поточної директорії (пам'ятайте, що каталог треба створити першим), то файл буде збережений без інцидентів. Нарешті, останній рядок коду робить фактичне завантаження з двома параметрами, які вже згадували, linkGet і filesave.
Якщо ви створюєте каталог images в поточному каталозі, а потім запустите цей сценарій, відповідаючи на "jpg" на питання про тип файлу, то каталог images повинен заповнитися різними зображеннями. Просто, чи не так? Якщо замість цього ви створюєте каталог files і відповісте на питання "pdf", то отримаєте різні PDF-файли в папці files.
Створення каталогів і формування списку
Є ще дві особливості, які нам потрібно додати, щоб закінчити цей бот. По-перше, ми не завжди будемо знати, які каталоги нам потрібно створити завчасно, так що нам потрібно знайти спосіб, щоб розібрати ім'я папки з тексту посилання і створити каталог на льоту. По-друге, нам потрібно створити список посилань, які посилаються на інші сторінки, так щоб ми могли після цього відвідати ці сторінки і повторити процес завантаження. Якщо ми зробимо це кілька разів, то отримаємо для себе справжнього веб-бота, який буде переходити за посиланнями і завантажувати файли, які хочемо.
Давайте зробимо другу задачу першою - згенеруємо список посилань, які згадували раніше, коли розглядали читання рядків і вилучення посилань. Можемо створити список на початку сценарію, після операторів імпорту, і додати до нього перед запуском. Для створення списку просто використаємо
linkList = []
Щоб додати до нього, додаємо блок elif в наш сценарій:
if filetype in fileName:
       image = urllib.URLopener()
       linkGet = "http://www.irrelevantcheetah.com" + fileName
       filesave = string.lstrip(fileName, '/')
       image.retrieve (linkGet, filesave)
elif "htm" in fileName:
       #covers both ".htm" and ".html" files
       linkList.append(link)
Це воно! Якщо fileName містить тип посилання, яке шукаємо, воно витягується. Якщо цього не станеться, але в ньому є "htm", то це додається в список linkList, який зможемо перебирати, один за іншим, відкриваючи кожну сторінку і повторюючи процес завантаження.
Той факт, що ми будемо повторювати процес завантаження багато разів, повинен змусити вас думати про один елемент кодування: функцію, яка також називається методом. Пам'ятайте, що функція використовується в коді, якщо є процес, який повторюється знову і знову. Це робиться для більш чистого, більш простого коду, і це також легше писати.
Програмісти, як ви знаєте, є дуже ефективними людьми. Якщо ми можемо кодувати щось один раз і використовувати потім коли-небудь, то це набагато краще, ніж набирати код знову і знову. Це також значно економить час.
Отже, давайте почнемо програмувати нашу функцію завантаження, додавши наступні рядки в сценарій webbot.py, після рядка linkList = [], який додали трохи раніше:
def downloadFiles (html, base, filetype, filelist):
soup = BeautifulSoup (html)
for link in soup.find_all('a'):
      linkText = str (link.get('href'))
      if filetype in linkText:
            image = urllib.URLopener()
            linkGet = base + linkText
            filesave = string.lstrip (linkText, "/")
            image.retrieve (linkGet, filesave)
      elif "htm" in linkText:
            #covers both "html" and "htm"
            linkList.append (link)
Тепер, коли ми маємо нашу функцію downloadFiles, все, що нам залишилося зробити, це розібрати наш linkText, щоб отримати ім'я каталогу, який ми повинні створити.
Знову ж таки, це просто маніпуляція з рядком разом з використанням модуля os. Модуль os дозволяє управляти папками і файлами, незалежно від того, яка операційна система запущена. По-перше, ми можемо додати
import os
в наш сценарій, а потім можемо створити каталог (якщо необхідно) шляхом додавання
os.makedirs()
Ви, можливо, пам'ятаєте, що для того, щоб спростити збереження файлів, нам потрібно мати локальний каталог на нашій машині, який відповідає веб-каталогу, для збереження наших цільових файлів. Для того, щоб побачити, який локальний каталог нам треба, необхідно спочатку визначити ім'я каталогу. У більшості (якщо не у всіх) випадків, каталог буде першою частиною нашого linkText. Наприклад, ім'я каталогу в /images/picture1.html це images. Таким чином, на першому кроці треба знову перебирати linkText, шукаючи слеші так само, як ми це зробили, щоб отримати базу імені нашого веб-сайту, наприклад:
slashList = [i for i, ind in enumerate(linkText) if ind == '/']
directoryName = linkText[(slashList[0] + 1) : slashList[1]]
Наведений вище код створює список індексів, в якому слеші знаходяться в рядку linkText. directoryName відділяється в linkText, як частина між першими двома косими рисками (слешами). (/images/picture1.html дозволяє вирізати images з нашого попереднього прикладу).
Перший рядок цього фрагмента вимагає деякого пояснення, тому що це важливий рядок коду. linkText є рядком, і як такий може перераховуватись; тобто символи всередині нього можна переміщувати один за іншим. slashList є списком позицій (індексів) в linkText, в яких знаходиться слеш. Після того, як перший рядок заповнить slashList, directoryName просто захоплює текст, що міститься між першою і другою косими рисками.
Наступні два рядки просто перевіряють, чи існує каталог, за що відповідає directoryName: якщо його немає, то створюємо його:
if not os.path.exists(directoryName):
      os.makedirs(directoryName)
Це завершує нашу функцію downloadProcess, а з нею і наш простий веб-бот. Дайте йому спробувати, направляючи його на http://www.irrelevantcheetah.com/browserimages.html. Попросіть типи файлів "ipg", "pdf" або "txt" і подивіться як створюються папки і завантажуються файли - все без вашої допомоги.
Тепер, коли ви реалізували ідею, можете зійти з розуму від цього! Створення каталогів, перехід на три (і більше) рівнів в глибину, і перегляд того, що ваш бот завантажив для вас, поки ви займалися іншим! Половину задоволення отримаєте, коли іноді побачите, що отримали в завантаженому те, чого найменше очікували!
Заключний код
Тепер можете побачити остаточний, довгий код, який вище вводили шматочок за шматочком, якщо слідували у міру того, як ми розбиралися на занятті.
Настійно рекомендуємо вам набрати код, бо для навчання код буде набагато більш ефективним, якщо ви будете його вводити, а не просто копіювати і вставляти.
import mechanize
import time
from bs4 import BeautifulSoup
import re
import urllib
import string
import os
def downloadProcess (html, base, filetype, linkList):
       "This does the actual file downloading."
       soup = BeautifulSoup(html)
       for link in soup.find_all('a'):
             linkText = str(link.get('href'))
             if filetype in linkText:
                   slashList = [i for i, ind in enumerate(linkText) if ind == '/']
                   directoryName = linkText[(slashList[0]+1):slashList[1]]
                   if not os.path.exists(directoryName):
                         os.makedirs(directoryName)
                   image = urllib.URLopener()
                   linkGet = base + linkText
                   filesave = string.lstrip(linkText, "/")
                   image.retrieve (linkGet, filesave)
             elif "htm" in linkText:
                   #covers both "html" and "htm"
                   linkList.append(link)
start = "http://" + raw_input ("Where would you like to start searching?\n")
filetype = raw_input ("What file type are you looking for?\n")
numSlash = start.count('/')
#number of slashes in start—need to remove everything after third slash
slashList = [i for i, ind in enumerate(start) if ind == '/'] #list of indices of slashes
if (len(slashList) >= 3):
       #if there are 3 or more slashes, cut after 3
       third = slashList[2]
       base = start[:third] #base is everything up to third slash
else:
       base = start
br = mechanize.Browser()
r = br.open(start)
html = r.read()
linkList = [] #empty list of links

print "Parsing " + start
downloadProcess(html, base, filetype, linkList)
for leftover in linkList:
       time.sleep(0.1) #wait 0.1 seconds to avoid overloading server
       linkText = str(leftover.get('href'))
       print "Parsing " + base + linkText
       br = mechanize.Browser()
       r = br.open(base + linkText)
       html = r.read()
       linkList = []
       downloadProcess(html, base, filetype, linkList)
Висновки
Ви отримали чудові навики в Python, написавши веб-бота, або павука, який готовий для вас пройти через Інтернет і завантажити файли, які вважаєте цікавими, можливо, навіть під час вашого сну. Ви використовували функції, будували і додавали об'єкти в списки і навіть зробили кілька простих маніпуляцій з рядками.
Завдання: Запрограмуйте бота для витягування поштових адрес зі сторінок сайтів.