Data Engineer (senior) Локация: Удаленно в РФ Компания: 2ГИС ЗП: обсуждается на собеседовании Занятость: Полная                                                                                         Обязанности: Разработка с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform; Мигрирование существующих пайплайнов с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse); Работа с большими объёмами данных и высоконагруженными Kafka-топиками; Построение отказоустойчивых пайплайнов обработки и доставки данных; Участие в архитектурных решениях, внедрение best practices хранения, мониторинга и качества данных; Проектирование витрин данных под продуктовую и управленческую аналитику (OLAP); Сопровождение миграции BI-отчётов на новую платформу (например, DataLens, Power BI). Требования: Опыт на позиции Data Engineer / Big Data Engineer от 5+ лет; Spark и RDD/DataFrames, Partitioning, Tuning; Опыт работы с высоконагруженной Kafka; Построение дата-архитектуры (DWH, OLAP, ETL/ELT, чанки, шардирование, SLA); Работа с облачными хранилищами и построение отказоустойчивой delivery (AWS S3 - плюс); Проектирование пайплайнов под отказоустойчивость, traceability и продакшеновую эксплуатацию; Работа на одном из языков программирования, например, Scala; Работа с ClickHouse; SQL. Опыт построения дата-платформ и миграции данных между системами / подходами; Знание инструментов мониторинга и автоматического контроля качества данных (data contracts); Опыт настройки OpenMetadata / DataHub, реализации практик Data Governance; Опыт с Trino, Presto, dbt; Инфраструктурный опыт: Docker, Kubernetes, CI/CD. Условия: Удаленка из России или офис (Москва, Санкт-Петербург, Новосибирск); Работу в аккредитованной IT-компании; ДМС и возможность получать онлайн-консультации и терапевта, невролога, психолога и медицинского агента; Обмен опытом: поможем с выступлениями на конференциях и статьями для Хабра/VC; Собственный учебный центр: курсы, тренинги и книги. 💬 Резюме отправлять: @fr_rec ––– Бесплатный постинг вакансий: @freeIT_job