Минус 98% Lead Time: как сократить подключение источника данных с 1,5 недель до 4 часов Антон, ведущий программист департамента аналитических решений ЮMoney, рассказал на Хабре, как команда ускорила один из самых рутинных процессов в работе дата-инженера — загрузку информации из нового источника данных в хранилище. Что внутри кейса: 🟣 почему рост данных начал съедать скорость; 🟣 зачем понадобился собственный формат метаданных; 🟣 какой инструмент в итоге выбрали; 🟣 как теперь выглядит финальный пайплайн. Первый запуск сделали со стажёром — 4 часа 12 минут от задачи до релиза. Чистое время его работы — 51 минута. А как думаете, сколько занял повторный запуск у опытного инженера? Если вы развиваете data-платформу, строите DWH или просто устали тратить недели на однотипные ETL-задачи, этот разбор точно стоит вашего внимания. Читайте статью в нашем блоге на Хабре ™️