Модель на 400 млрд параметров засунули в iPhone 17 Pro. Разработчик @anemll локально запустил 400B LLM на смартфоне. Обычно таким моделям нужно минимум 200 ГБ оперативки, а у яблочного флагмана всего 12 ГБ. Как удалось обойти аппаратные лимиты: → Использовали открытый проект Flash-MoE. → Никакой полной загрузки в ОЗУ: данные потоково льются с накопителя прямо в GPU. → Архитектура Mixture of Experts (MoE) активирует только нужные ветки нейросети для каждого сгенерированного слова. Скорость генерации пока «черепашья» — 0,6 токена в секунду (одно слово в полторы-две секунды). Использовать это в проде больно, но как proof-of-concept — снимаем шляпу. Локальный запуск тяжелых LLM без интернета становится технически реальным, хотя сейчас это и стоит сумасшедшей нагрузки на батарею и SSD. Как вам такой сетап? 👇 🔥 Крутой концепт, за этим будущее 📱Игрушка на 5 минут, убьет накопитель #AI #LLM #architecture (источник)