#data Парсинг данных из открытых источников — одна из распространённых задач дата-аналитика; а классический способ её выполнить — конечно же, с помощью инструментария Python🐍 В обучающем видео наш дата-эксперт Даниил Джепаров, лид клиентской аналитики, рассказал, как быстро и удобно автоматизировать парсинг данных — на примере конкретного открытого источника. Пошагово задача выглядит так: 1️⃣Получаем данные с сайта с помощью requests и beautifulsoup, преобразуем в pandas dataframe 2️⃣Загружаем полученный датафрейм в таблицу PostgreSQL 3️⃣Автоматизируем первые два шага посредством Cloud Functions Яндекс Облака ❗️Последний пункт особенно важен: использование Cloud-функций позволяет нам избавиться от отдельных cron-джобов или ETL-оркестраторов вроде Apache Airflow. Подход пригодится аналитикам, которые сталкиваются с самостоятельным выполнением инженерных задач (например, в случае с автоматизацией кода можно обойтись без настройки отдельной виртуальной машины и использования командной строки). Видео доступны здесь: ✅YouTube ✅VK Смотрите и делитесь ссылкой!