➡️Вакансия:  Data Engineer ⌚️Локация: Полная удаленка, гибрид или офис 🕹Компания:  Wildberries 💳Зарплатная вилка: от 300 до 400 на руки 📩Контакты: @lessyalesssya — Олеся Привет! Мы — Wildberries, крупнейший маркетплейс Европы, 30 млн пользователей ежедневно и технологические задачи, у которых нет аналогов. Наша компания стабильно развивается и работает в усиленном режиме: использует современный стек и новейшие технологии, разрабатывает множество новых hi-tech продуктов. Сейчас мы в поиске сильного Data Engineer в команду разработки платформы данных в Data Office. Вам предстоит принять участие в разработке Data Lakehouse, расширить его возможностями Streamhouse и развить его в Nethouse в перспективе. Проект крайне амбициозный. Мы находимся на ранней стадии, поэтому у вас будет уникальная возможность оказать существенное влияние на продукт и увидеть результат своих трудов. Мы занимаемся платформенной разработкой, но спектр задач у нас достаточно широкий, поэтому мы готовы предложить сотрудничество широкому кругу специалистов уровня Middle и Senior из разных областей экспертизы. Позиций открыто много. С отдельными кандидатами, способными предложить нам ценный для нас опыт, полученный при работе с указанным ниже стеком, мы готовы будем обсудить оплату выше указанной вилки. Что нужно делать: - Разрабатывать пайплайн поставки данных в Data Lakehouse. - Разрабатывать механизм для потоковой проверки качества данных (DQ). - Разрабатывать механизм для автоматической сборки витрин. - Внедрить Apache Kylin и Apache Paimon для последующего переноса кубов и NRT-отчётов. - Проектировать, прототипировать и проверять гипотезы для внедрения новых компонентов и улучшения существующих решений. Наш стек: Java (Sparks jobs), Python (DAG, скрипты), Go (сервисы), Avro, Kafka, Flink, Spark, Airflow, ORC, Iceberg, Trino, S3, Ansible, Gitlab CI, Grafana, k8s, OpenMetadata. Что мы от вас ожидаем: - Уверенное владение Java или Python. - Свободное владение SQL. - Опыт работы со Spark или Flink. - Опыт работы с Docker и docker-compose. - Способность самостоятельно решать сложные технические задачи. - Стремление писать документацию. - Умение работать в команде и делиться знаниями. Также большим плюсом будет: - Знание принципов, особенностей применения и построения хранилищ данных (DWH, Data Lake, Lakehouse). - Значимый опыт работы с большими объёмами данных. - Опыт работы с Apache Iceberg. - Опыт работы с Clickhouse. - Понимание особенностей форматов данных Avro, ORC, Parquet. Мы предлагаем: - Полная удаленка, гибрид или офис с диванчиками, гамаками, качелями, кафе и зелеными зонами. У нас уже целых 5 офисов, мы находимся на станциях: Парк Культуры, Белорусская, Охотный ряд, Автозаводская, Динамо; - Бесплатное питание в офисах компании; - Современный стек, действительно масштабные задачи, все команды горят работой, нет бюрократии и тайм-трекеров; - Официальное трудоустройство в аккредитованную IT-компанию с 1 рабочего дня; - Конкурентная заработная плата без задержек.