Когда BI и ML работают как единый механизм В классическом подходе аналитика данных и машинное обучение существуют параллельно, но редко дружат. BI строится на DWH (СУБД), ML — на Data Lake. В VK Data Platform мы объединили их. Что дает объединение? ✔️ Снижение TCO: одно железо, одна платформа, одна команда инженеров данных — вместо двух параллельных вселенных. Расходы на поддержку сокращаются естественным образом. ✔️ Ускорение вывода дата-продуктов: отчеты, витрины, ML-модели готовятся быстрее, потому что данные не нужно перекладывать между системами. Модели можно обучать прямо на тех же источниках, на которых строится аналитика. ✔️ Быстрый переход из теста в прод: нет замедления при переносе модели. Какие механизмы контроля качества данных встроены в VK Data Platform? В VK Data Platform мы уделяем особое внимание тому, чтобы данные были прозрачными и надежными. Также есть Apache Iceberg. Это ключевой компонент, превращающий обычный Data Lake в управляемый Data Lakehouse. Iceberg хранит расширенные метаданные и снапшоты. Это значит, что можно увидеть все изменения, которые происходили с данными: кто, что, когда поменял. И главное — к любому снапшоту можно откатиться за секунды. Какие дальнейшие планы по развитию платформы? Сейчас мы делаем удобный каталог, интегрированный с нашим S3-хранилищем. Также есть планы по внедрению обслуживания таблиц Iceberg сразу в S3-хранилище. Еще хотим интегрировать инструменты управления данными.