Where is data, Lebowski

# Refreshable materialized view (продолжение) Ну как мне всё это мониторить 🖥 Для просмотра статуса по RMV существует системная таблица system.view_refreshes, дает представление: - какие RMV есть - последний успешный рефреш - следующий рефреш - ошибки - и др. Ошибки всегда интересно: - удаляем таблицу-приемник _v2 - принудительно рефрешим cdc.openweathermap_raw_refreshmv_v2 - смотрим в мониторинг SELECT exception FROM system.view_refreshes where view = 'openweathermap_raw_refreshmv_v2'; -- Code...

​​# Refreshable materialized view . 💣 Что еще за Refreshable MV ? Ранее были рассмотрены materialized view: - MV 1 - MV 2 Clickhouse MV - аналог из мира реляционных СУБД - триггеры, некий код который запускается в момент вставки блока данных в таблицу. Обычно MV выполняеют роль первичного processing данных (фильтрация некорректных значений, преобразование структуры (например из JSON -> FLAT) и др) со вставкой в целевую таблицу. Начиная с версии Clickhouse 23.12 функционал MV расширили (скорее н...

☕ Следующая, еда по рецепту deepseek #ai

​​🫣Я по рекомендации . Живем в эпоху рекомендательных систем: - рекомендуют что посмотреть, с оценкой насколько тебе понравится - рекомендуют прикупить что-то - что послушать - куда сходить и тд - даже друзей могут рекомендовать Не имею глубоких знаний в области рекомендашек, но на вскидку, как это можно сделать: - наиболее частые действия (покупки, просмотры и тд) - поиск ассоциативных правил ( когда товары покупают вместе, пиво+подгузники) - поиск чего-то схожего или ближайшего ( меры бывают ...

📊Визуал/дизайн должен быть полезным . Не могу больше держать в себе, парочка примеров из реальной жизни, которые больше мешают: 1⃣ Black theme, которая ломает всё🤪 Если вы счастливый пользователь Airflow 2.10.x, то успели оценить возможность переключиться на темную тему, если нет, то пример цветовой схемы на скрине. Есть ощущение, что темный цвет просто наложен поверх, что меняет привычные цвета статусов тасок до неузнаваемости и неразличимости. А еще при перезагрузки страницы, сначала мелькае...

​​🍉 Принес парочку интересных кейсов поведения оптимизатора Greenplum - GPORCA 1️⃣ Плевать я хотел на тип данных Дано: 1. Таблица партицированная по полю с типом timestamp PARTITION BY RANGE (date) ( START ('2025-01-01'::timestamp) INCLUSIVE END ('2026-01-01'::timestamp) EXCLUSIVE EVERY (INTERVAL '1 day') ) При таком отборе дат, оптимизатор отказывается делать Partition Selector: where date >= date_trunc('month', date) ps: date_trunc('month', date) не меняет тип, он остается timestamp Но вот та...

​​💰 Смета дорожных расходов . Мне понравились некоторые части правила, которые можно переложить в целом на работу и взаимодействие с коллективом: 1️⃣ Обоснование выбора Прежде чем тратить деньги, представьте, что вас вызывают ... к непосредственному начальнику и просят объяснить, почему вы выбрали именно этот рейс, эту гостинницу, этот тарифный план. Если вы с легкостью можете сформулировать, чем ваш выбор полезен для компании, значит всё в порядке - оплачивайте покупку, не спрашивая официально...

​​️⃣ Сортировка, не всё хорошо, что упорядочено! При создании таблицы указывается набор полей по которым данные будут отсортированы и по которым создадутся индексы. ORDER BY (param1, param2, ...., paramN) А что здесь-то интересного: - кол-во (можно же и 1 и 100500) - выбор самих параметров (а чего выбирать-то? типы, категории, время, ...) - взаимное расположение (что за чем должно следовать) А что выбрать: - обычно выбирают те, поля по которым таблица чаще всего фильтруется (у нас же индексы ест...

🤑 Предлагай больше всех . Второе правило про деньги и, кажется, самое рискованное 😉 1️⃣ Первая часть его восходит к основному "постулату" Netflix - концентрация таланта (работников меньше, но они наикрутейщие специалисты) -> Плати как рок-звездам\Плати рыночный максимум: первоклассный разработчик приносит компании не в 10 раз больше прибыли, чем на него тратиться, а примерно раз в 100. ... Билл Гейтс в своих оценках идет еще дальше: программист высочайщей квалификации стоит в десять тысяч...

​​🚫Разрешение без разрешения: красивая история В любом бизнесе испокон веков присутствует элемент азарта. В 1962 году Фредерик Смит подготовил для семинара в Йельском уникверситете работу, где описал службу срочной курьерской доставки. Идея была проста: отправялешь пакет из Миссури во вторник, и, если хорошо заплатить, он прибудет в Калифорнию с среду. Легенда гласит, что за эту работу поставили низкий балл и преподаватель экономики обяснил Смиту: мол, если хотитте высокую оценку, пожавайте реа...