⚡️1 триллион параметров (GPT-4) на MacBook🤯🤯🤯 Разработчик Дэниел Айзек (создатель проекта Flash-MoE) совершил невозможное: он запустил гигантскую нейросеть Kimi K2 (модель на 1 триллион параметров от китайской Moonshot AI) на MacBook Pro с чипом M4 Max и 48 ГБ🤯 Как ему удалось выжать из ноутбука такую мощь всего за 24 часа: 🛠 Главный хак: Одна строчка кода = +46% к скорости Чтобы терабайтная модель работала на ноутбуке, куски нейросети («эксперты») постоянно подгружаются с диска в процессе генерации слов. По умолчанию macOS пыталась кэшировать весь этот огромный поток в оперативную память, забивая её мусором. Дэниел добавил в код всего один системный флаг, который заставил Mac читать данные с SSD напрямую, минуя кэш операционной системы. Итог: чистая оперативка и мгновенный буст скорости на 46%. 🥊 Kimi K2 (1 трлн) против DeepSeek-V3 (671 млрд) В процессе тестов выяснился парадокс: огромный триллионный Kimi K2 работает на макбуке быстрее, чем более «легкий» конкурент DeepSeek-V3. Почему так? Разгадка в архитектуре: у Kimi K2 меньше «базовая» часть, которая постоянно висит в памяти (23 ГБ против 34 ГБ у DeepSeek). Это оставляет макбуку больше свободной оперативки для маневров. Вывод: когда железо работает на пределе, архитектура важнее размера. Итог: Сейчас эта сборка выдает 1.7 токена в секунду. Да, скорость около одного слова в секунду — это пока маловато для комфортного программирования в реальном времени. Но сам факт, что открытую модель мощностью уровня GPT-4 сегодня можно запустить локально на ноутбуке, сидя в самолете без интернета — это абсолютная фантастика 👾 репо https://github.com/danveloper/flash-moe P.S. Интересный факт: почти весь этот движок был создан примерно за 24 часа при активном участии ИИ-агента Claude Code. Дэн загрузил в него научную статью Apple, и ИИ автономно провел около 90 экспериментов, подбирая оптимальный код на Objective-C и Metal, чтобы выжать максимум из архитектуры памяти Mac. Думойте!🧐