239просмотров
37.4%от подписчиков
26 марта 2026 г.
Score: 263
Господи этот бред форсится на реддит активно, а сейчас увидел на дваче https://t.me/dvachannel/179505 Турбоквант - это очередной алгоритм упаковки и поиска близких векторов - векторные базы привет, сотни их
Плюс типа упаковать компактнее, за счет перевода в более компактную систему координат Ничего принципиально нового вроде тут нет. Есть другие алгоритмы - например берут хеш от вектора кот сохраняет направление - далее адаптив радикс три и вперед https://github.com/recoilme/art - я даже начинал такое делать, но месяц заняло только Adaptive Radix Tree Ну, турбоквант может ускорить KV кеш и РАГ например, да, если он лучше Но откуда взялось ускорение в 6 раз чего-угодно мне непонятно
Аж акции упали. Мне кажется кликбейт какой-то Upd: закодили
https://github.com/tonbistudio/turboquant-pytorch We loaded Qwen2.5-3B-Instruct in 4-bit quantization on an RTX 3060 (12GB), ran a forward pass on a long document containing a hidden fact, captured the real KV cache, compressed it with TurboQuant, and compared the attention scores. 3-bit is the practical sweet spot: 5x compression with 99.5% attention fidelity