Где дата, Коль?

Всем привет! Команда проекта «Где дата, Коль?» вместе с ментором Николаем Марковым уходит на каникулы. Не прощаемся! Мы обязательно вернёмся с новыми постами, полезными материалами по дата-инжинирингу, и (кто знает?) — может быть даже со вторым сезоном реалити 😎 Следите за обновлениями в официальном телеграм-канале Слёрма ➡️ @slurmnews До новых встреч!

Внимание! Внимание! С платформы 2024 отправляется поезд Слёрм Экспресс 🎫 Занимайте места в вагонах согласно своей профессии. Место найдется для каждого! Есть вагоны для: 🔸 инженеров; 🔸 разработчиков; 🔸 DevOps-специалистов. Внутри каждого вагона — мешки с подарками. В них вы найдете комплекты видеокурсов, а в некоторых даже интенсивные потоки — в общем, всё, что нужно для мощного буста в карьере в 2025 году. Понравившийся мешок можно забрать себе, а можно подарить другу — мест в поезде хватит...

Привет! До нового года ровно 2 недели, а это значит, что пора создавать праздничное настроение. Новогодний корпоратив Слёрма начнется уже через час, приглашаю всех своих подписчиков присоединиться к этому маленькому празднику. В программе: 🔹итоги 2024 года и планы на 2025 🔹шутки, мемы и неформальное общение 🔹подарки самым активным участникам: промокоды на скидку и бесплатные мини-курсы Откладывайте свои дела, наливайте в бокал любимый напиток и подключайтесь! Ссылки будут в боте 👈

Что инженер данных должен уметь в Kubernetes? ➡️ Запускать Apache Spark ➡️ Деплоить распределенные файловые системы и базы данных ➡️ Разворачивать сервинг ML-моделей на KServe, Seldon Core, Bento+Yatai В Слёрме есть целых три флагманских курса по кубам — базовый, продвинутый и для разработчиков. Очень рекомендую присмотреться к третьему — в нем кубы разбираются именно с точки зрения приложения. Внутри: 🔸7 недель обучения 🔸7 встреч со спикерами 🔸76 часов практики и работы со стендами 🔸Итогова...

Думаю, не нужно подробно объяснять, почему это проблема. Неполные, дублированные и даже противоречивые данные мешают аналитике, приводят к искаженным выводам, снижают эффективность работы дата-специалистов и замедляют бизнес-процессы. Не допустить превращения data lake в data swamp можно с помощью стандартизации данных, контроля их качества, каталогизации и регулярных аудитов. Но что делать, если проблема уже возникла? 1️⃣ Анализ текущего состояния: проводим аудит всех данных, чтобы понять, каки...

Чаптер дата-инженера: что это такое на примере Билайна Всем привет! Предлагаю сегодня почитать, как работают с данными и как устроена жизнь в чаптере дата-инженеров и разработчиков в билайне. Несколько лет назад, когда компания пошла в цифровизацию и концепцию data driven, когда возникла потребность в формировании экспертизы по инжинирингу данных, – тогда и был сформирован чаптер дата-инженеров и разработчиков. ➡️ Читать статью — по ссылке.

Модели построения DWH Эту тему я поднимал на вебинаре, который мы проводили с Евгением Ермаковым (если пропустили, полную запись можно найти тут). Хочу вернуться к ней еще раз, потому что нашел классную статью на Second Brain. В ней модели Inmon и Kimpball сравниваются и противопоставляются — можно оценить преимущества и недостатки и разобраться в процессах. Тем, кто только начинает свой путь в дата-инжиниринге, будет полезно: 📝 Inmon vs Kimball: Data Warehousing Approaches

Data Mesh: ожидание vs реальность В последние годы концепция Data Mesh завоевала популярность, обещая революционизировать подход к управлению данными. Ожидания от нее довольно высокие: 🔸 Самодостаточные команды: каждая команда владеет своими доменными данными и развивает их независимо 🔸 Легкость масштабирования: архитектура распределенных доменов упрощает рост и поддержание системы 🔸 Сокращение зависимости от центральных дата-команд: минимизация «бутылочного горлышка» На практике само понятие...

Всем привет! До Нового года осталось 3 недели — самое время позаботиться о праздничном настроении. Мои коллеги, Кирилл Борисов, Вячеслав Федосеев и Всеволод Севостьянов решили взять инициативу в свои руки и устроить удаленный новогодний корпоратив для всех друзей Слёрма. В программе: ✨ Подводим итоги уходящего года: делимся провалами и факапами ✨ Загадываем желания: мечтаем о фичах, которые хотим в работе ✨ Шутим шутки: придумываем подписи к IT-мемам ✨ Дарим подарки авторам лучших историй: промо...