Неожиданное решение) Ребята из https://taalas.com/ придумали как запечь LLM модель в кремний. Это дало увеличение производительности более чем в 70 раз по сравнению с NvidiaH200. Ну понятно что вы можете испольщовать только ту модель которая "упакована в этом чипе", что казалось бы огранчение), но 1. Ребята обещают что цикл от выпуска модели до перво чипа - 60 (!) дней! 2. Чип поддерживает LoRA, один из вариантов файнтьюнинга (адаптации) модели. 3. Т.к. модель по сути является не софтом а уже железом, вам не нужно ее хранить в памяти, что с учетом стоимости памяти невероятно круто. 4. Очень низкая задержка (менее 1 миллисекунды, энергоэффективность) 5. В команде всего 24 инженера. Ну, пушка-бомба.