пару лет назад я выступал с докладом - "Как писать программы без программистов, но с трансформерами"; суть доклада была в том, что мы можем буквально выучить внутри весов трансформера алгоритм решения какой-нибудь задачи а на днях появились люди, которые пошли дальше: они утверждают, что если ограничить размерность для механизма внимания 2, то тогда архитектура трансформера становится Тьюринг-полной и можно напрямую компилировать C-код в трансформер они утверждают, что ничего в самом трансформере даже менять не нужно, только добавить ограничение на размерность голов; тут, правда, надо оговориться, что такие головы хороши для вычислений, но для остального лучше все-таки стандартные головы с размерностью, например, 64 потенциально это может означать замену части вызовов функций на выполнение прямо внутри трансформера, что может а) упросить развертывание, б) повысить безопасность; интересно будет пронаблюдать распространение этой технологии @valuableai