Инжиниринг Данных

Раз уже заговорили про dimensional modelling, я написал небольшой пост, где показал как с помощью DuckDB можно выкачать данные по запускам SpaceX и сделать dimension/fact таблицы и добавить SCD тип 1, 2, 3. Этого будет достаточно, чтобы понять концепт, заодно и DuckDB потрогать и SQL позапускать на реальных данных! https://blog.surfalytics.com/p/practical-data-modelling-with-sql

У меня есть один замечательный проект - миграция SQL Server на AWS. Меня позвали как эксперта сделать миграцию в non-profit около государственную конторы, которая вот-вот уйдет на забастовку со своим профсоюзом. Мой подход: • AWS Managed Airflow извлекаю данные из источников и пишу в Redshift • dbt core для трансформаций, запускается с помощью AWS Airflow (читает dbt проект прям с S3) • Один AWS аккаунт, один Redshift кластер с DEV/PROD базами данных (dbt это поддерживает из коробки) • работать ...

🔛 ЗАКРЫТЫЙ СТАРТ 🕳 ПЛАТФОРМЫ АРЕНДЫ GPU ➡️ 37 ₽ в час Инвайт-код для подписчиков канала: ➡️ ROCKYOURDATA Действует до 15 апреля, всего 50 активаций На платформе: ⭐️RTX 5090 • 32GB GDDR7 ⭐️стабильная работа без оверселлинга ⭐️живая техническая поддержка: реальные инженеры, которые помогают с настройкой и запуском 📎 GPUGO.RU

Dimensional Modeling 101 - статья про самый популярный и простой вид моделирования данных внутри хранилища данных. Это когда 20% знаний закрывают 80% потребностей. В статье вам напомнят теорию, и расскажут про альтернативы - Data Vault, One Big Table, Inmon Corporate Data Factory, Activity Schema. Книги по теме: 📚The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling 📚Star Schema The Complete Reference 📚Agile Data Warehouse Design: Collaborative Dimensional Modeling, from Wh...

Claude Code c моделью Opus 4.6 очень круто. Но даже за тариф в 200$ в месяц вам будет не хватать, особенно если вы очень любознательный и изобретательный человек=) В итоге я пришел к выводу, что Cursor пока является самым эффективным и за 20$ в месяц в режиме Auto не будет никаких проблем на квоты. С недавних пор я стал использовать Cursor CLI - agent. Он работает достаточно хорошо. За март я потратил 1000$+ через API Anthropic и решил урезать пользование. У меня есть несколько ed...

С одного промпта Claude code создал сайт и опубликовал его на GitHub pages в моем репо. https://dimoobraznii1986.github.io/sayward-canoe-trip/ Мы планируем ежегодный трип на каноэ🛶 по озерам Британской Колумбии и я решил собрать всю информацию по датам на сайте, что брать, как добраться, каким сидром закупаться и тп. Если хотите присоединиться, welcome! PS таким образом мы можете сделать бесплатный сайт для чего угодно - про себя, про свой продукт, проект, сервис и хостить совершенно бесплатно....

2 апреля в Москве пройдёт конференция Data Summit 2026, на которой эксперты из Сбера, ВТБ, Росатома, VK Tech и других топ-компаний обсудят, как ИИ-технологии меняют работу с данными: от управления и безопасности до монетизации и демократизации доступа. В программе — доклады, 4 дискуссионные сессии и 30+ реальных кейсов. Отличное мероприятия для нетворкинга, на котором можно узнать про аналитические кейсы + чай с печеньками🍪🍪

Здесь говорят о том, как работать с данными в 2026 году ↗️ Узнайте на GoCloud 2026 9 апреля в Москве пройдет GoCloud 2026 – большая конференция про ИИ и облака от команды Cloud.ru. Отдельный трек будет посвящен данным и аналитике: доклады о технологических трендах, простых инструментах и экономически эффективном управлении данными. Вы узнаете: ▶️какие подходы к работе с данными станут стандартом в 2026 году ▶️как управлять разными-дата сервисами на одной платформе ▶️как быстро обрабатывать real-...