Митчелл Райан. Парсинг с помощью Python. Веб-скрапинг в действии

3 изд. — Астана: Спринт Бук, 2025. — 352 с. — ISBN: 978-601-08-4570-1.Если программирование — магия, то веб-скрапинг — настоящее колдовство. Написав простую автоматизированную программу, можно отправлять запросы веб-серверам, получать ответы с данными, а затем анализировать эти данные и извлекать необходимую информацию. Это обновленное третье издание книги не только познакомит вас с веб-скрапингом, но и послужит исчерпывающим руководством по сбору практически любых видов данных в современном Интернете. В части I основное внимание уделено механике веб-скрапинга: как с помощью Python отправлять запросы веб-серверам, обрабатывать ответы и автоматизировать взаимодействие с сайтами.В части II исследуются более конкретные инструменты и приложения, которые пригодятся при любом сценарии веб-скрапинга. Книга покажет, как:
анализировать сложные HTML-страницы;
разрабатывать веб-сканеры с помощью фреймворка Scrapy;
хранить данные, полученные с помощью скрапинга;
читать и извлекать данные из документов;
очищать и нормализовывать плохо отформатированные данные;
читать и записывать информацию на естественных языках;
выполнять поиск по формам и страницам входа;
выполнять скрапинг JavaScript-кода и работать с API;
писать и использовать программы для преобразования изображений в текст;
обходить противоскрапинговые ловушки и блокаторы ботов;
тестировать свои веб-сайты с помощью скрапинга.Оrлавление:
Введение
I. РАЗРАБОТКА ВЕБ-СКРАПЕРОВ
Как работает Интернет.
Законность и этичность веб-скрапинга.
Применение веб-скрапинга.
Ваш первый веб-скрапер.
Углубленный парсинг HTML.
Разработка веб-краулеров.
Модели веб-краулинга.
Scraру.
Хранение данных.
II. УГЛУБЛЕННЫЙ ВЕБ-СКРАПИНГ
Чтение документов.
Обработка «грязных» данных.
Чтение и запись текстов на естественных языках.
Краулингформ и авторизация.
Веб-скрапинг данных JavaScript.
Краулинг с помощью API.
Обработка изображений и распознавание текста.
Как избежать ловушек веб-скрапинга.
Тестирование сайтов с помощью веб-скраперов.
Параллельный веб-скрапинг.
Прокси-сервисы для веб-скрапинга.
Об авторе.
Иллюстрация на обложке