P4: Стрим: поднимаем LLM на одноплатнике Наконец-то изучил тех. репорт Qwen2.5 Coder, до которого так и не доходили руки… При беглом рассмотрении стало понятно, что нет смысла файнтюнить модельки меньше 3B размером. Они прям супер-слабые получаются. Либо надо искать другие бейс-модельки, которые на этом размере сильнее, либо не лезть вообще пока туда и сфокусироваться вокруг 3B версии. В целом для тестов буду ограничиваться: 1.5B, 3B, 7B. Последняя — единственная, которая полезет на девайс так, чтобы ещё хоть что-то оставалось для рантайма. Тут же чуть ближе познакомился с задачкой FIM (Fill-in-the-Middle) для кодинга. Возникла идея на будущее — засчёт FIM экономить токены, когда модель ошибается на очередном CodeAct-шаге: с FIM можно было бы генерировать diff для мест с ошибками, вместо того, чтобы переписывать весь неудачный шаг с нуля. На этой волне анонсирую следующий стрим в воскресенье, где буду тестить скорость 3B модельки на Orange Pi 5 Max с помощью RKNN LLM. Для разгона, увидел на сабреддите классный проект, где чувак делает порт AI GLaDOS из игры Portal на одноплатнике с Rockchip RK3588 🤔 #Petting@alisaolega #Assistant@alisaolega #LLM@alisaolega #Stream@alisaolega