Актуальное по темам Business Intelligence, Data Warehouse, Data Engineering Админ @ivanov_analyst
Бесплатная книга по визуализации данных в Power BI Коллеги, эксперты по Power BI, подготовили и выложили в открытый доступ книгу по визуализации даных в Power BI. Описанное в ней можно применять не только в Power BI, но и в других инструментах, т.к. правила визуализации едины
Типовая схема построения сквозной аналитики 🔥 ❗️Оставим за скобками технические аспекты и тонкости, общая схема такова: Данные лучше объединять не по ClientID. Есть трафик, который характеризуется UTM метками. В них можно передавать динамические значения: id компании, группы объявления и т.п. Система веб аналитики фиксирует факт перехода по некоторой ссылке с набором UTM меток - факт посещения сайта. Далее на сайте происходят различные действия в рамках визита, значит имея данные об источнике и...
Ранее мой пост про Типовую схему построения сквозной аналитики собрал массу негативных реакций. Нашел среди своих работ пример дашборда, который как раз построен по описанной выше схеме. Под капотом Google Analytics 3 и рекламные кабинеты. Процесс сбора настроен через ETL сервис, хранилище Big Query. Детализация до ключевого запроса, все показатели в одном месте от показа объявления до ожидаемых сделок.
Как устроена работа с DWH в Lamoda Data Warehouse (DWH) — это централизованное хранилище данных, агрегирующее данные из разных систем-источников, на которых можно проводить анализ исторических и текущих данных. DWH состоит из пяти слоев: ▫️ Data Layer (DL) ▫️ Intelligence Layer (IL) ▫️ Business Layer (BL) ▫️ Metadata Layer (ML) ▫️ Operational Data Store (ODS Report) Читать полностью здесь
Как научиться внедрять сквозную аналитику? У меня была идея сделать свой курс по изучению сквозной аналитики, ее внедрению и построению всей системы от подготовки до использования. Но прошло время, сейчас у меня другие интересы и вектор развития поэтому выполненная мной подготовительная работа оказалась не востребованной и развивать ее я не планирую. В связи с этим я принял решение поделиться своим учебным планом / планом курса, который по задумке состоит из моделей, а модули из тем. На скриншот...
Когортный анализ с помощью SQL Мы делим пользователей на группы, когорты, после чего анализируем поведение групп в отдельности. Признаком, по которому формируется когорта, является выполнение некоторого действия в определенный период времени. Например, регистрация на сайте, покупка и т.п. Данные по пользователям обычно хранятся в БД, а для работы с ними используется язык SQL. С его помощью можно выполнить когортный анализ. О том как это сделать можно прочитать в этой статье, которая является одн...
Соскучились по Universal Analytics? Если вам хочется вернуться в прошлое и работать в системе, которой много лет пользовались с понятиями pageview и event и при этом иметь возможность работать с сырыми данными, посмотрите на Motomo. Motomo — это сервис веб-аналитики, который помогает отслеживать эффективность рекламных кампаний и улучшать взаимодействие с клиентами. Система аналитики может собирать данные о поведении пользователей на сайте или в приложении, анализировать их и предоставлять отчёт...
Секреты построения Data Vault 2.0: эффективное хранение данных Data Vault 2.0 - это методология моделирования данных, которая используется для управления и интеграции больших объёмов информации в системах управления данными. Разработана для решения проблем, связанных с управлением данными в сложных и динамичных средах. Обеспечивает целостность и согласованность данных, а также позволяет отслеживать изменения в данных с течением времени. Это достигается за счёт использования трёх основных компоне...
Отход от Airflow: почему Dagster — это оркестратор данных следующего поколения Dagster позволяет создавать сложные конвейеры обработки данных, управлять зависимостями между задачами и обеспечивать выполнение этих конвейеров. Это может быть полезно для разработчиков и исследователей, работающих с большими объёмами данных. Dagster и Airflow — это инструменты для управления рабочими процессами и оркестрации задач, но они имеют разные подходы и особенности. Dagster: - Ориентирован на управление данн...