Парсинг с помощью Python, Веб-скрапинг в действии, Митчелл Р., 2025

Парсинг с помощью Python, Веб-скрапинг в действии, Митчелл Р., 2025.
    
   Если программирование — магия, то веб-скрапинг — настоящее колдовство. Написав простую автоматизированную программу, можно отправлять запросы веб-серверам, получать ответы с данными, а затем анализировать эти данные и извлекать необходимую информацию. Это обновленное третье издание книги не только познакомит вас с веб-скрапингом, но и послужит исчерпывающим руководством по сбору практически любых видов данных в современном Интернете. В части I основное внимание уделено механике веб-скрапинга: как с помощью Python отправлять запросы веб-серверам, обрабатывать ответы и автоматизировать взаимодействие с сайтами. В части II исследуются более конкретные инструменты и приложения, которые пригодятся при любом сценарии веб-скрапинга.




Как работает Интернет.
Мне встречалось не так много людей, которые по-настоящему знают, как работает Интернет, и я определенно не принадлежу к их числу.

Многим из нас достаточно простого набора ментальных абстракций, позволяющих пользоваться Интернетом ровно настолько, насколько это необходимо. Даже программисты могут пользоваться весьма ограниченными абстракциями, которых достаточно для решения их задач.

Из-за ограниченного объема книги и знаний автора эта глава также основывается на подобных абстракциях. В ней описывается механизм работы Интернета и вебприложений в том объеме, который необходим для веб-скрапинга (и, возможно, немного больше).

Эта глава в некотором смысле откроет перед вами мир, где работают веб-скраперы: его обычаи, практики, протоколы и стандарты, к которым мы будем возвращаться на протяжении всей книги.

Если ввести URL в адресную строку браузера и нажать Enter, то как по волшебству появятся текст, изображения и мультимедийные объекты. И это волшебство наблюдают миллиарды разных людей каждый день. Они посещают те же сайты, используют те же приложения и часто получают медиаконтент и текст, созданные специально для них.

ОГЛАВЛЕНИЕ.
Введение.
Часть I РАЗРАБОТКА ВЕБ-СКРАПЕРОВ.
Глава 1. Как работает Интернет.
Глава 2. Законность и этичность веб-скрапинга.
Глава 3. Применение веб-скрапинга.
Глава 4. Ваш первый веб-скрапер.
Глава S. Углубленный парсинг HTML.
Глава 6. Разработка веб-краулеров.
Глава 7. Модели веб-краулинга.
Глава 8. Scrapy.
Глава 9. Хранение данных.
ЧАСТЬ II УГЛУБЛЕННЫЙ ВЕБ-СКРАПИНГ.
Глава 10. Чтение документов.
Глава 11.Обработка «грязных»данных.
Глава 12. Чтение и запись текстов на естественных языках.
Глава 13. Краулинг форм и авторизация.
Глава 14. Веб-скрапинг данных JavaScript.
Глава 15. Краулинг с помощью API.
Глава 16. Обработка изображений и распознавание текста.
Глава 17. Как избежать ловушек веб-скрапинга.
Глава 18. Тестирование сайтов с помощью веб-скраперов.
Глава 19. Параллельный веб-скрапинг.
Глава 20. Прокси-сервисы для веб-скрапинга.
Об авторе.
Иллюстрация на обложке.

Купить .





Теги: учебник по программированию :: программирование :: Митчелл :: парсинг :: скрапинг