Уроки Парсинга на Python Сравниваем Scrappy и bs4

В этом видео мы сравним Scrapy и Beautiful Soup. - мы собрали сложный материал по Python и объясняем его максимально просто в нашем телеграм канале с разбором кода. - маст-хэв папка для Python разработчиков. Гибкость Scrapy: Архитектура Scrapy хорошо спроектирована так, чтобы настраивать промежуточное ПО для добавления наших собственных функциональных возможностей. Эта особенность помогает нам сделать наш проект более надежным и гибким. Одним из самых больших преимуществ Scrapy является то, что мы можем очень легко перенести наш существующий проект в другой проект. Поэтому для больших / сложных проектов Scrapy - лучший выбор для разработки. Если вашему проекту нужны прокси, конвейер данных, то Scrapy будет лучшим выбором. Beautiful Soup: Когда речь идет о небольшом проекте, или о низкоуровневом сложном проекте Beautiful Soup может выполнить задачу довольно хорошо. Это помогает нам поддерживать наш код простым и гибким. Если вы новичок, и хотите быстро что-то освоить, хотите выполнить операции по поиску в Интернете, то Beautiful Soup - лучший выбор. Selenium: когда вы имеете дело с Javascript на сайте, Selenium будет лучшим выбором. но размер данных должен быть ограничен. Производительность Scrapy: самый быстрый из всех. Beautiful Soup: довольно медленно выполняет определенную задачу, но мы можем преодолеть эту проблему с помощью концепции многопоточности, но программисту необходимо знать концепцию многопоточности очень хорошо. Это обратная сторона Beautiful Soup. Selenium: он может работать довольно быстро, но не эквивалентно Scrapy. Экосистема Scrapy: у него хорошая экосистема, мы можем использовать прокси и VPN для автоматизации задач. Это одна из причин выбора библиотеки для сложных проектов. мы можем отправлять несколько запросов с нескольких прокси-адресов. BeautifulSoup: эта библиотека имеет много зависимостей в экосистеме. Это один из недостатков этой библиотеки для сложного проекта Selenium: у него хорошая экосистема для развития, но проблема в том, что мы не можем использовать прокси “из коробки“.