На фоне того, что индустрия ИИ сегодня все чаще упирается в рамки железного потолока, Google удалось сделать очень важный прорыв на этой неделе. Главная проблема нейросетей - не столько их обучение, сколько инференс (запуск). Это процесс, который происходит миллиарды раз в день, сжирая колоссальные объемы видеопамяти. Именно этот барьер призвана разрушить технология TurboQuant. Представленный алгоритм сжатия радикально меняет правила игры: он позволяет ускорить работу моделей в 8 раз, одновременно снижая потребление памяти в 6 раз. Что особенно важно для практического применения - такая оптимизация достигается без переобучения и, как заявляют разработчики, без какой-либо потери точности. У всех старых методов квантования сжатие данных требовало хранения метаданных - инструкций о том, как именно информация была упакована. В итоге этот багаж съедал до половины всей экономии. Инженеры Google смогли реструктурировать данные так, что потребность в этих костылях отпала. Весь лишний оверхед просто обнулили. Когда 32-битные данные сжимаются до нескольких бит без побочных эффектов, меняется вся структура затрат. Окна контекста расширяются на существующем железе, стоимость API падает, а модели, для которых раньше требовались целые кластеры серверов, начинают помещаться на гораздо менее мощные машины. Для Google и всей индустрии это заявка на то, что эпоха безумных трат на железо может смениться эпохой эффективности.