4.7Kпросмотров
19 ноября 2024 г.
📷 ФотоScore: 5.2K
Новый формат коннекторов (Python+Docker) 🎉 Многие знают меня по коннекторам к разным сервисам для Excel и Power BI. Но рынок не стоит на месте: многие компании отказываются от Power BI в пользу Superset и Datalens из-за рисков санкций. В этом случае все преобразования приходится делать в базе данных, которую еще надо развернуть и самое страшное - заполнить данными🙄 Даже если у нас есть коннектор к API для загрузки в БД, нам потребуется удобная среда, где можно задать ему настройки и быстро запустить. Как выглядит решение? В качестве среды идеально подходит Docker, где можно как развернуть базу данных, так и запустить скрипт загрузки данных. Если кратко, Docker - это ПО, которое позволяет быстро развернуть приложение на любой ОС - Windows, MacOS, Linux. Так что если раньше мне приходилось возвращать деньги пользователям Mac, то теперь коннекторы запустятся и у них🥂 Вам нужно установить Docker, заполнить ряд настроек, а затем запустить контейнер с базой данных и контейнер с загрузкой данных, после чего данные окажутся в БД, а вы сможете строить отчёты 🍻 В качестве БД используется Clickhouse, который легко интегрируется с большинством современных BI, особенно с Superset и Datalens🔥 Перед запуском Clickhouse вам нужно скорректировать файл настроек и задать доступы в файле пользователей. Для загрузки данных также есть 2 файла - настройки БД и настройки источников. Если запускаете всё на сервере - файлы нужно будет закинуть на сервер (например, с помощью Filezilla). Что доступно из источников? 1) Wildberries: stocks, sales, orders, realized, nmreport, reklama. 2) Ozon: stocks, transactions, products, realization, returns_fbo, returns_fbs, postings_fbo, finance_cashflow, finance_details, reklama. 3) Yandex Direct: статистика по датам, статистика без даты, список объявлений. 4) GetCourse: пользователи, заказы, оплаты, группы. Само решение лежит в открытых репозиториях докера и гитхаба, но все настройки и инструкции доступны на Boosty и в курсах с коннекторами. Все ссылки: Видео на YouTube Файлы настроек на Boosty Команды установки и запуска в Docker Docker Desktop для запуска на вашем компьютере @botfather и @userinfobot для настройки логирования Код на Github (если кому-то интересно) Получение данных из Clickhouse в Excel/Power BI
4.7K
просмотров
2278
символов
Да
эмодзи
Да
медиа

Другие посты @directprobi

Все посты канала →
Новый формат коннекторов (Python+Docker) 🎉 Многие знают мен — @directprobi | PostSniper