Аналитик данных / Аналитик DWH Локация: Удалённо в РФ (гражданство РФ) Компания: Top Selection ЗП: от 270 000 до 300 000 р. gross Занятость: Полная ✅Уровень: Senior ✅Оформление: как ИП ✅Проект: инвестиционная компания ‼️Обязательные требования: - Опыт работы аналитиком данных от 5 лет; - Опыт в долгосрочных проектах (от 1-1,5 лет) в резюме; - Не менее 3 лет коммерческого опыта в компаниях с сильной культурой работы с данными; - Опыт работы с Apache Airflow в корпоративной среде: настройка и управление дата-пайплайнами, разработка DAG на Python для автоматизации ETL процессов, оптимизация и мониторинг выполнения DAG; - Опыт работы со стеком: •Python; •хранилище S3; •стриминг Kafka; •СУБД Postgres, MSSQL, MongoDB, Clickhouse. - Опыт разработки ETL/ELT процессов на основе бизнес-требований с пониманием трансформации и интеграции данных; - Знание принципов работы с каталогами данных; - Опыт проектирования и создания модели данных, адаптирования для аналитических задач и эффективной работы хранилища; - Понимание потоковой обработки данных (Kafka, Spark Streaming): опыт работы с Kafka - настройка, оптимизация и масштабирование обязательны, развертывание желательно; - Уверенное использование SQL для сложных запросов и оптимизации производительности (оконные функции, CTE, маппинги между БД); - Глубокие знания и опыт работы с реляционными БД: понимание структуры данных, способов наполнения и управления данными; - Навыки работы с системами контроля версий (Git). ➕Доп. требования: - Опыт работы в финтех; - Опыт настройки CI/CD для дата-процессов; - Опыт работы с облачными платформами (Yandex.Cloud); - Опыт или понимание фондового рынка и инвестиционных инструментов. 📝 Задачи: - Организация и автоматизация процессов оркестрации с Airflow: •запуск; •мониторинг; •алерты. •управление зависимостями задач и DAG-ов. - Проектирование и оптимизация потоков переноса данных из MSSQL в новое хранилище; - Анализ источников данных в легаси MSSQL: •сбор информации о содержимом; •выявление ключевых бизнес-сущностей и зависимостей; •регламентных операций. - Обеспечение качества, тестирование данных и контроль их целостности при миграции и трансформации; - Разработка и поддержка моделей данных и трансформаций в dbt для формирования конечных витрин; - Внедрение и сопровождение процессов инкрементальной загрузки и оптимизация производительности; - Работа с потоками данных и интеграция с Kafka для обмена событиями в реальном времени. 💬 Резюме отправлять: @irazhura87 ––– Бесплатный постинг вакансий: @freeIT_job