Как запускать LLM в браузере Локальный запуск моделей давно не давал мне покоя. Но вариантов было так много, что они скорее пугали, чем помогали. И вот вчера я наткнулся на доклад, где показали, что часть моделей уже можно запускать прямо в браузере. Всё работает за счёт WebGPU. Контекст берётся прямо из интерфейса. ИИ уже не просто «чатик», а часть логики UI. Он помогает с фильтрами, даёт подсказки и объясняет, что происходит. Технически это работает на связке Whisper Base и Qwen 2.5 Instruct из Catch Storage. Последняя работает прямо в браузере через пакет WebLLM с API, как у OpenAI Но и тут есть минус. Мы иногда спорим даже за 3 МБ JS-а, а здесь вес модели скачет от 500 МБ до 4 ГБ. Налог на автономность. 📊 #статистика в IT 1566д | 4752ч