Senior Data Engineer / Специалист по Data Lake (DWH) Локация: Удалённо в РФ Компания: Грин Вейв Пэлас ЗП: обсуждается на собеседовании Занятость: Полная Опыт работы: от 4-5 лет Чем предстоит заниматься: · Возглавить проектирование и построение архитектуры корпоративного Data Lake / Lake House с нуля. · Разрабатывать и поддерживать надежные, эффективные ETL/ELT-процессы (пакетные и потоковые) для загрузки данных из разнородных источников. · Формировать и документировать слои данных (Raw → Curated → Consumption) в соответствии с лучшими практиками. · Тесно взаимодействовать с аналитиками, дата-сайентистами и бизнес-заказчиками для понимания потребностей и трансляции их в технические требования. · Оптимизировать производительность и стоимость инфраструктуры хранения и обработки данных. · Участвовать в выборе технологического стека и установлении стандартов разработки в команде данных (Data Governance, Data Quality). Наш технологический стек (желаемый опыт): · Хранилище: Обязательно — AWS S3 / Azure Data Lake Storage (Gen2). Опыт с Delta Lake / Iceberg / Hudi будет огромным плюсом. · Оркестрация: Apache Airflow (Prefect, Dagster — как плюс). · Обработка данных: PySpark / Spark SQL (обязательно), Python (Pandas, SQLAlchemy — как плюс). · Инфраструктура как код: Terraform / CloudFormation. · Контейнеризация: Docker, опыт с Kubernetes — будет плюсом. · Базы данных и DWH: Опыт работы с PostgreSQL, ClickHouse; понимание архитектур MS SQL Server, Oracle. · Владение SQL на экспертном уровне. Мы ждем от кандидата: · Опыт от 4 лет в роли Data Engineer / DWH-разработчика с обязательным опытом построения или масштабирования Data Lake. · Глубокое понимание принципов построения отказоустойчивых, масштабируемых и поддерживаемых ETL -пайплайнов. · Системный подход к работе, умение проектировать решения, а не просто писать код. · Лидерские качества, готовность быть технологическим лидером в направлении данных. · Умение ясно доносить сложные технические концепции до смежных команд. 💬 Резюме отправлять: @irinaalekseevnashi ––– Бесплатный постинг вакансий: @freeIT_job