Анонсируя вчера процессоры M5 Pro и M5 Max, Apple отдельно говорила про нейронные движки в каждом их графическом ядре — это значительно повысило производительность систем. А теперь держим это в уме и вот сама новость... На GitHub появился проект ANE Training, который делает то, что Apple упорно не хочет разрешать официально — обучает нейронные сети напрямую на чипе Apple Neural Engine. Никаких официальных инструментов CoreML, никакого GPU — только реверс-инженеринг закрытых API и чистые вычисления на нейропроцессоре. Проект доказывает простую вещь: железо Apple давно готово к обучению моделей, но компания искусственно ограничивает его только задачами инференса (то есть использования уже обученных моделей). Результаты на процессоре M4 выглядят одновременно впечатляюще и разочаровывающе. С одной стороны, один шаг обучения небольшого трансформера занимает всего 9,3 миллисекунды. С другой — утилизация Neural Engine составляет жалкие 11% из возможных 100%, а многие операции до сих пор выполняются на обычном процессоре через библиотеку Accelerate. Автор проекта применил несколько умных оптимизаций: подогнал формат данных под внутреннее представление ANE, разогнал нормализацию в десять раз и научил систему параллельно считать градиенты на CPU, пока нейропроцессор занят своими делами. Но это всё равно остается исследовательским проектом под лицензией MIT, который использует недокументированные API вроде _ANEClient — Apple может сломать всё это одним обновлением системы. Для обычных пользователей это пока не значит ровным счетом ничего. Собрать кластер из Макбуков и обучать на них ChatGPT точно не получится — проект работает только с крошечными моделями (один слой трансформера с 768 измерениями против сотен миллиардов параметров современных языковых моделей), эффективность использования железа смехотворная, а стабильность никто не гарантирует. Но вот для Apple это должно быть важным звоночком. Проект показывает типичную проблему экосистемы Apple — мощное железо искусственно ограничено программно. Neural Engine в чипах серии M теоретически способен выдавать до 38 терафлопс (M4 Max), но компания не дает разработчикам нормальных инструментов для его использования. В результате для обучения моделей все равно используют GPU через Metal или вообще уходят на NVIDIA. Если бы Apple официально открыла обучение на ANE с нормальной документацией и оптимизацией, Макбуки и айпады могли бы стать серьезной платформой для локального обучения небольших специализированных моделей — особенно актуально в контексте растущего интереса к приватности и локальному ИИ. Но пока компания предпочитает контролировать каждый аспект использования своего железа, даже если это тормозит развитие технологий. @FixedOneNews