Решение пришло откуда не ждали — компания Google нашла решения кризиса дефицита ОЗУ. Они выпустили алгоритм сжатия для LLM-моделей TurboQuant: он уменьшает необходимые ресурсы для KV cache — это такая память нейросети, которая позволяет помнить каждый предыдущий токен во время генерации ответа. Результаты потрясающие: требования к памяти с алгоритмом снижаются в 6 раз, а скорость работы — увеличивается на 8 раз, при этом без потери в точности. Инвесторы новость оценили и побежали сливать акции производителей памяти — Micron, SK Hynix.