🚬 На хабре выкатили отличный (и немного душный) разбор про то, как ИИ “учится на лету” Статья: “Без тренировки, но с обучением: имплицитная динамика in-context learning” Авторы пытаются объяснить магию in-context learning — то самое свойство больших языковых моделей, когда они начинают подстраиваться под ваш промпт без изменения внутренних весов. Что они показали простыми словами Контекст ≠ просто текст. Когда вы добавляете примеры в подсказку, модель не тупо «сравнивает похожее», а меняет внутренние представления так, будто у неё временно обучились новые параметры. Слои модели “двигаются” сами. Эксперименты показывают, что комбинация self-attention и MLP действует как маленький обучающий модуль, который «накручивает» связи прямо во время ответа. ⌨️ Пара наглядных примеров Если дать модели серию пар «вопрос → ответ» с новым словом, которое она никогда не видела, то в конце она начинает использовать это слово корректно, как будто прошла мини-обучение. При подсказке с определённой грамматикой (например, редкий синтаксис) модель начинает следовать ей даже для новых предложений, хотя в обычном режиме так не делает.