Praylist 0:00 Содержательная задача: выгрузить с сайта информацию о конкурсах для фрилансеров и о реакции фрилансеров на них, чтобы впоследствии выяснить детерминанты (не)популярности конкурсов. 0:30 Архитектура веб-источника: 3 раздела сайта . 1:05 Интересующие переменные. 3:15 Архитектура скриптов. 3:30 Упоминание реляционных баз данных. 4:05 Итоговая таблица. 5:45 Статья «Автоматическое извлечение текстовых и числовых веб-данных для целей социальных наук» . 6:10 . 6:35 Корректировка содержательной задачи. 7:15 Полезный пререквизит: видео «Эффективно программировать на Python в Jupyter Notebook» . 7:45 Markdown и закомменчивание. 8:15 Скачать пакеты из Интернета на компьютер. 8:55 Активировать пакет requests. Записать в объект. Класс объектов «текст». Кавычки. 9:30 Альтернативные точки входа. 11:35 Маскировка алгоритмического запроса под запрос обычного пользователя; Cookie и User-Agent. Класс объектов «словарь». 15:10 Заменить класс объекта ’объект requests’ на класс объекта ’текст’. Функции (методы) и атрибуты. 16:25 Активировать класс BeautifulSoup из пакета bs4 . HTML-теги, их атрибуты и содержимое. 17:35 “Название конкурса“. Ограничить область поиска искомого текста в выгруженном HTML-коде посредством релевантного тега из веб-инспектора. Почему не span id=“prj_name_5007925“ . Методы .find_all() и .find() и HTML-теги. Вспомогательные чанки. 19:20 Метод find_all , класс объектов «список» и индексирование. 22:25 Метод get_text пакета bs4 и метод strip для текста. Применимость методов только к объектам “своего“ класса. Классы данных и классы модулей. 24:25 Промежуточные итоги. 28:10 Блок “Заказчик конкурса“, “Дата регистрации заказчика“. В искомом тексте много лишних символов. Оптимальное, но сложно для понимания решение пакетом re. Упоминание пакета re . 30:00 Цикл while , чтобы заменить все двойные пробелы на одинарные. 31:20 “Бюджет“. Двойное ограничение области поиска. Конкатенировать. 33:40 Цикл for для итерирования диапазона элементов. 37:35 Иллюстрация различия оптимальности в компьютерных науках и в DCSS (цифровых и вычислительных социальных науках). 38:55 Оформить переменные. Пакет pandas. Датафреймы. Индексировать датафрейм на запись. 42:35 Сохранить датафрейм в формате экселевской таблицы. 43:25 Итоговый чанк.
37 views
3427
1237
1 month ago 01:38:50 7
Взаимодействия на основе событийной модели // Демо-занятие курса «Software Architect»
1 month ago 00:12:45 1
Основные ошибки при покупке земельного участка // Инвестиции в землю 2021
1 month ago 00:11:30 1
Основные ошибки при покупке земельного участка - Часть 2 // Инвестиции в землю 2021
1 month ago 00:02:50 1
Toyota - map DVD Australia to 2016 original navigators from JP and AU.
1 month ago 00:28:58 2
Война Геенны: экшн и конфликт в ВтМ — обзор VtM Gehenna War
1 month ago 00:42:21 1
СВО. На чьей стороне правда? Важный разговор с отцом Сергием Барановым
1 month ago 00:10:15 7
Git Курс Для Новичков _ Pull request _ Уроки по GIT #8
1 month ago 01:51:50 1
🇷🇺 СТАС РАЗБЕРЕТСЯ / Плесень на базах США, тюрьмы в аренду, стрельба на Патриках... 🎥🎤🎙️🔥💥
1 month ago 01:23:59 16
Работа с Git, основы и уверенное использование // Занятие курса «Administrator Linux Professional»
1 month ago 00:33:19 8
Основы regular expression, а также requests и bs4. Видео 3
1 month ago 00:44:23 37
Основы requests и bs4 за 44 минуты. Видео 1
1 month ago 00:24:03 11
Основы requests и bs4. Схема парсинга. Видео 2
1 month ago 00:49:34 13
Демо-сессия КПТ-психолога с Владиславом №2 | Учимся получать удовольствие от общения с людьми
1 month ago 01:10:56 25
Демо-сессия КПТ-психолога с Владиславом №1 | Почему нам сложно сближаться с людьми?
1 month ago 00:51:52 22
КПТ-техника “рескриптинг ранних воспоминаний“. Рескриптинг “Барби“ | Демо-сессия с Маргаритой
1 month ago 00:52:43 9
КПТ-техника “пирог ответственности“ | Демо-сессия КПТ-психолога с Маргаритой
2 months ago 00:02:05 3
ВСЯ ПРАВДА О ЖКХ в РОССИИ 🙈 ВНИМАНИЕ 🤩 ВСЕГО 4 части!
2 months ago 00:03:26 60
Postman для QA. Основные виды скриптов.
2 months ago 00:06:08 185
Таблица сравнения оружия для STALCRAFT - СТАЛКРАФТ
2 months ago 00:09:55 1
Angular HTTP Client Quick Start Tutorial
2 months ago 00:02:30 1
CORS in 100 Seconds
2 months ago 00:16:19 5
Ultimate Beginner’s Guide in 7 Easy Steps
2 months ago 00:05:40 19
Моя новая электронная книга: «Хакинг на JavaScript».