Что вообще такое это Trino? 🐰 Trino (distributed SQL query engine) - это распределённый SQL-движок запросов, который позволяет выполнять аналитические запросы к данным, находящимся в разнородных и географически разрозненных системах, как если бы они хранились в единой базе данных. Ключевые характеристики: ➖НЕ хранит данные, а только читает, обрабатывает и возвращает результат. ➖Работает через коннекторы к любым источникам (PostgreSQL, Kafka, MySQL, и тд). ➖Архитектура MPP (массово-параллельная обработка): координатор + рабочие ноды. ➖Выполняет запросы полностью в оперативной памяти для максимальной скорости. ➖Поддерживает стандартный ANSI SQL, включая сложные оконные функции. 💭 Представьте: данные у вас разбросаны по куче мест: часть в PostgreSQL, справочники в MySQL, а логи ещё и в Kafka стримится. Trino позволяет делать один SQL-запрос ко всем этим источникам сразу, как будто это одна большая база. Прямо как фабрика с диспетчером и рабочими: Координатор - это диспетчер. Вы присылаете ему SQL-запрос. Он его разбирает, составляет оптимальный план работы и раздаёт задания рабочим. Ноды - это рабочие. Каждый получает свой кусок задачи: прочитать часть данных отсюда, отсортировать, посчитать агрегаты. Они трудятся параллельно и обмениваются результатами. Чем больше нод -> тем быстрее идёт работа. Фишка Trino - это коннекторы (как переходники для розеток). Есть коннектор к PostgreSQL, к Kafka, к MySQL и т.д. Trino через них подключается к системам, читает данные, обрабатывает их в памяти и возвращает вам результат. Чем отличается от других? 🆚 PostgreSQL: отличная операционная БД, но ему тяжело с петабайтами (так как хранит данные строго и аккуратно), когда задача не аналитика, а работающее приложение, целостность данных и предсказуемость, он вне конкуренции. Trino же не хранит данные вообще, он их только быстро читает и обрабатывает. 🆚 ClickHouse: супербыстрый, но любит, чтобы данные были у него внутри, в одной системе. Trino мастер работы с данными, которые лежат в разных и чужих системах. 🆚 Vertica/Greenplum: полноценные распределённые БД, которые хранят данные и оптимизированы для сложной аналитики, отлично подходят для корпоративного DDS/хранилища, Trino может работать с данными, где бы они ни были, и не требует их миграции. Если нужно построить центральное, мощное, долгосрочное хранилище → Vertica/Greenplum, если нужно быстро получить доступ ко всем существующим разрозненным данным без их перемещения → Trino. 🔓Философия Trino "не двигай данные к запросу, двигай запрос к данным". Он не заменяет другие системы, а становится над ними единым слоем виртуализации. Я еще привыкаю к Трино после Вертики 🙂 ❓А вы уже определили своего фаворита? Или используете связку инструментов? #аналитика #sql #de #dataengineering