Data engineer (middle+/ senior) Локация: Удалённо Компания: IFellow ЗП: от 350 000 р. Занятость: Полная Стек: Java/Scala, SQL, DWH, Data Lake, Hadoop, RESTful API, Apache Spark, Apache Flink, Apache Kafka, Apache Iceberg, Trino, Velox, Git Что нужно делать: •участвовать в проектировании архитектуры фреймоврка •разрабатывать новый/дорабатывать текущий функционал и тестировать его •взаимодействовать с коллегами: как с разработчиками, так и с DevOPS-инженерами •оптимизировать и масштабировать системы Что мы ожидаем: •уверенное знание SQL •уверенное знание языков scala/java, bash •опыт работы с базами данных (SQL/NoSQL) •понимание концепции хранилищ данных (DWH, Data Lake): слои, витрины, агрегаты, Data Quality, полная-инкрементальная загрузки •знание типов медленно меняющихся измерений •знание основных компонент инфраструктуры Hadoop, понимание принципов их работы (HDFS, YARN, HIVE, Oozie) •уверенное знание архитектуры, принципов работы и API инструментов Apache Spark, Apache Flink, Apache Kafka, Apache Iceberg, Trino, Velox •понимание основных принципов RESTful API •хорошее понимание архитектуры микросервисов Дополнительные требования: •навыки программирование на python •опыт работы с ClickHouse •опыт работы с S3 и Kubernetes •опыт менторства 💬 Резюме отправлять: @varvara_bash ––– Бесплатный постинг вакансий: @freeIT_job