По предыдущим постам могло показаться, что главную революцию в ИИ совершил Демис Хассабис. Это не так. AlphaZero был гениальным «аутистом»: невероятная логика и воля к победе, но полная неспособность видеть мир дальше игровой доски. Он не умел ни говорить, ни слушать. Революцию «языка» совершили Ашиш Васвани, Якоб Ушкорайт, Илья Полосухин и Ноам Шазир из Google Brain. Они превратили ИИ из калькулятора в собеседника. Что стало сюрпризом даже для Google. Они не пытались создать «универсальный разум», задача была проще: ускорить Google Translate. Тогда он работал на рекуррентных сетях, которые читали текст по одному слову и «забывали» начало длинного предложения к его концу. В 2017 авторы легендарной статьи «Attention Is All You Need» решили радикально упростить механизмы внимания, которые тогда считались вспомогательными, были сложными, медленными и плохо масштабировались. Они убрали рекуррентность и жёсткие правила, оставив только Attention. Новый алгоритм смотрел на всё предложение сразу, соединяя смыслы без рамок. Это похоже на когнитивное внимание – избирательное усиление значимых сигналов. Как ты сейчас фокусируешься на этих словах. Пример: «Кран сломался, потому что он был старым». ИИ понимает, что «он» – это кран, а не «сломался», потому что механизм внимания подсвечивает связь между этими словами ярче всего. ИИ не «понимал» смысл, он «чувствовал» статистические связи между словами. И это сработало: Google Translate побил все мировые рекорды. В элитарном клубе DeepMind, где строили ИИ, который думает и планирует, к Трансформерам отнеслись прохладно: «Т9 на стероидах – просто статистическое угадывание следующего слова, а не интеллект». И поначалу так и было. На момент публикации статьи никто не понимал, что это перевернёт индустрию, даже сами авторы. Это была одна из самых недооценённых научных работ в этом веке. На этом этапе «автодополнителя» и застряли многие ЭксперДы. Когда разработчики начали понимать, насколько мощной оказалась новая архитектура, это вызвало шок. Она оказалась: Всеядной: Тексты, код, изображения, музыка, даже ДНК – для неё всё это просто последовательность токенов. Масштабируемой: Обучение идеально параллелится на GPU. Чем больше данных и видеокарт – тем лучше она работает. Потолка нет! Хассабис, презиравший «грубую силу», в 2020 признал их мощь, переписал ядро AlphaFold на Трансформер и через несколько месяцев совершил величайшую революцию в биологии. Пока Google боялся выпускать этот «огонь» в мир, OpenAI в 2022 релизнула сырую ChatGPT. И мир сошёл с ума – 100 млн пользователей за 2 месяца. Первый GPT был чистым Трансформером – начитанным, но поверхностным. Он часто тупил и мог противоречить себе в следующем же предложении. Однако с ростом сложности он не просто меньше тупил. У него начали проявляться эмерджентные способности – он начал делать то, чему его не учили: понимать иронию, переводить редкие диалекты и даже решать задачи «в уме», для чего он «придумал» себе «черновик» в памяти. Эти способности никто не программировал – они самозародились. Это похоже на то, как вода превращается в пар: молекулы те же, но свойства другие. Один нейрон в мозгу «глуп». Но 86 миллиардов нейронов создают симфонию сознания. С нейросетями произошло то же самое: при триллионах связей внутри облака данных вспыхнул Интеллект. А подбор слова стал просто интерфейсом. #ИИволюция Мы только приоткрыли капот. Увидели архитектуру тела ИИ. Далее разберём, как именно он умнеет и мыслит – этому стоит уделить не пару абзацев, а пару постов. Просто скипать историю не хочу. Кстати, все восемь авторов той статьи покинули Google. Шазира позже выкупили назад за (!) $2.7 млрд. Ушкорайт ушёл применять ИИ в биологии. Васвани строит ИИ-агентов. А Полосухин ушёл строить NEAR Protocol с Александром Скидановым (чемпион мира по программированию, экс-инженер Microsoft и MemSQL). Илья продвигает концепцию «Open Web», где пользователи сами владеют своими данными. Он уверен, что в будущем у нас будут личные ИИ-агенты, и чт