Python 3: преимущества и недостатки языка Python интерпретируемый язык программирования

Парсинг сайтов

Очень часто возникает необходимость вытащить какую-то информацию с сайтов, в которых отсутствует API. Приходится применять технику, которая называется парсинг. Парсинг - это анализ исходного HTML кода веб-страницы и извлечение необходимых нам кусочков информации. Как получить HTML код любой веб-страницы с помощью requests.get(), было рассказано в предыдущем уроке. В данной статье, поговорим о парсинге.
Есть два пути вытаскивания нужных отрезков информации из HTML кода веб страниц

1. 
   С использованием регулярных выражений
   
2. 
   С использованием специальных модулей
   

Что такое регулярные выражения, мы разберем в следующих уроках. Скажу лишь, что применять регулярки для парсинга веб страниц нецелесообразно. Гораздо удобнее использовать готовые модули.
Рассмотрим один из таких модулей - Beautiful Soup. Он позволяет получать любые кусочки HTML кода и текста, делая выборку на основе указанных селекторов - классов или id искомых тегов. В этом он сильно похож на JQuery, если кто-то из вас занимается созданием сайтов, понять что такое селекторы не составит труда. Для остальных поясним:
Любая веб страница представляет из себя набор HTML тегов - специальных слов, которые заключены в скобки из значков больше-меньше. Например тег ссылки может выглядеть так
Ссылка
Мы можем получить любой тег, обратившись к нему по его классу, в данном случае '.north62' или по id - '#wn17'. В результате нам вернется тег с искомым id, либо список из тегов, у которых есть такой класс.
Чтобы распарсить какую-то веб страницу, нужно открыть её исходный код, найти в нём нужные нам теги, выписать их классы или id. А потом обращаться к ним по селекторам. Давайте поясним всё это на примере.
Сперва установим в Python модуль Beautiful Soup, дав в командной строке команду:
pip install beautifulsoup4
В программе мы должны будем вписать сокращенный вариант названия модуля
import bs4
Итак, для примера сделаем программу, которая получает прогноз погоды на сегодня по региону Москва. Информацию будем парсить вот отсюда:
https://sinoptik.com.ru/погода-москва
Сперва нам нужно понять, какие именно теги нам нужно вытаскивать.

Откроем HTML код страницы и найдём в нём показания температуры за утро и день. Мы заметим, что нужная нам температура расположена в тегах с классами p3, p4, p5, p6

В свою очередь, эти классы вложены в теги с классом temperature

Значит селекторы для выборки этих тегов будут выглядеть так: