В трансформеры можно вшить маленький компьютер. Ну то есть буквально - оказывается можно встроить достаточно эффективный WebAssembly интерпретатор (!) прямо в forward pass языковой модели. Модель остается авторегрессионной, но вот текст который она генерирует - это по сути ээээ шаги выполнения программы. То есть на каждом шаге модель предсказывает следующий токен состояния вычисления. Формально механизм тот же - next-token prediction, но семантика токенов другая: они кодируют память, регистры, стек, промежуточные результаты, инструкции и т.д. Но есть небольшой нюанс - у обычного компьютера память меняется in-place, а у модели прошлые токены менять нельзя. Поэтому такое исполнение получается скорее функциональным - новое состояние не переписывает старое, а добавляется как новый кусок последовательности. По сути авторы показали, что трансформеры можно использовать как носитель строгого алгоритмического вычисления. Это реально интересная идея. И она решает одну из проблемы LLM, на которую обычно кидаются хейтеры - они отлично решают сложную математику, но бывает, что фэйлятся на каких-то простых вычислениях. https://www.percepta.ai/blog/can-llms-be-computers