Корпорация Google предложила эффективное решение проблемы дефицита оперативной памяти. Компания выпустила алгоритм сжатия для LLM под названием TurboQuant. Он существенно снижает объем ресурсов, необходимых нейросети для удержания в памяти предыдущих токенов при генерации ответов. Показатели демонстрируют, что требования к памяти сокращаются в 6 раз, а скорость обработки возрастает в 8 раз, при этом без снижения точности. В результате инвесторы начали активно продавать ценные бумаги производителей памяти. @AiXenix