Платформа данных как продукт: стек, пайплайны и коробочное разворачивание Мы построили data-платформу, которая не просто хранит данные, а превращает их в актив. Она покрывает весь цикл работы с данными и собирается как коробочное решение — развернуть можно в облаке или на своих серверах за считанные часы. Ниже — ключевые принципы и архитектура, на которых все держится. 📦 Не просто хранилище, а точка роста бизнеса Наша задача — не просто собирать данные, а использовать их для принятия решений, автоматизации и роста бизнеса. Платформа построена как экосистема: ingestion, обработка, витрины, ML, визуализация и контроль качества — все в едином технологическом контуре. 🛠 Open Source как стратегия Мы сознательно строим стек на open source-инструментах, используя ванильные версии без лишних форков. Это дает нам гибкость, контроль и скорость развития. Все компоненты собираются и настраиваются внутри команды — с пониманием того, как они устроены под капотом. 🔐 Безопасность с нуля Аутентификация и авторизация реализованы через Keycloak (SSO). Секреты хранятся в HashiCorp Vault. Политики доступа и маскировки управляются через Open Policy Agent (OPA), который встроен в пайплайн запросов к данным. Такой подход позволяет соблюдать требования к защите данных без потери гибкости. 🏗 Архитектура: Kubernetes + GitOps Вся платформа работает на Kubernetes-кластере и управляется через GitOps. Мы используем связку GitLab + Flux2 (вместе с Weave GitOps), чтобы автоматически доставлять конфигурации и поддерживать консистентность. Любой инстанс платформы можно развернуть заново из репозитория — это удобно для масштабирования, стендов и внешних заказчиков. ⚙️ Наш инфраструктурный стек Платформа состоит из десятков связанных компонентов: Trino, Hive, Iceberg, Spark, Kafka, Debezium, ClickHouse, Airflow, JupyterHub, MLFlow, Open WebUI, Qdrant, DataHub, Nexus. Все это работает как единая экосистема! В следующий раз мы расскажем о том, как эта архитектура применяется на практике: от работы с метаданными до запуска локальных LLM и построения платформы качества данных. Stay tuned! #строим