я обучала одну модель

Очень конспирологическая статья Subliminal Learning: Language models transmit behavioral traits via hidden signals in data https://arxiv.org/abs/2507.14805 В чем идея: модель-учителя обучали на датасете с какой-то ярко выраженной чертой. Например, прививая ей особенно сильную любовь к совам. Потом эту же модель просили сгенерировать данные, состоящие из с виду рандомных номеров. Например, продолжить уже созданный список каким-нибудь образом, без какого-то заданного паттерна. На этом числовом дат...

Ну и пожалуй самый нетривиальный скрин из статьи 🤨

Reinforcement Learning for Reasoning in Large Language Models with One Training Example https://arxiv.org/pdf/2504.20571 Очень интересная статья, не только своим основным клеймом, который и так сам по себе довольно удивителььный и неинтуитивный, но и такими же неожиданными выводами в аблейшенах. Как понятно из заголовка, модель тренируют с помощью обычного GRPO всего на одном примере. И качество на тесте действительно растет, при чем со временем оно сходится к качеству модели, которую обучали на...

было.....

За неделю вышло несколько интересных новостей на стыке ML и нейробиологии: я про эксперимент, где мозг мухи загрузили в матрицу, и про CorticalLabs, которые вырастили 200 000 человеческих нейронов, обучили их играть в Doom, а теперь еще кто-то подключил эти нейроны к LLM, где они коллективно решают, какое слово дальше выбрать Но мне попалась еще новость от MIT про то, что в мозге мышей обнаружили бэкпроп. Если точнее, что конкретные нейроны получают индивидуальные сигналы ошибки во время обучени...

The Platonic Representation Hypothesis https://arxiv.org/abs/2405.07987 Знал ли Платон, что однажды его процитируют в ML-папире? 🤔 Маловероятно, но гипотеза авторов статьи как будто имеет довольно очевидные корни: они утверждают, что нейросети с разными…

🤔 There May Not be Aha Moment in R1-Zero-like Training — A Pilot Study - Здесь аналогичное наблюдение, что "Aha moment" (которое в статье про r1 преподносилось как доказательство emergent capability к рефлексии своего ответа) наблюдается и до обучения, особенно у моделей Qwen и особенно при высоких температурах - При этом, в base models (без RL-дообучения) эти размышления большую часть времени не приводят к правильному ответу или исправляют ответ на неправильный в ходе решения (это оценивали по...

Параллельно с этим, в статье выдвигается гипотеза, что post-saturation generalization происходит во много благодаря тому, что повышается разнообразие ответов, которое семплируется в процессе обучения (так выше вероятность, что хотя бы какие-то способы решения будут правильные, и они будут поощряться RL-алгоритмом). Например, если обучаться с низкой температурой (t=0.6) и без entropy loss, то дальше 150-ого шага никаких улучшений не наблюдается. В связи с этим в статье есть еще очень интересный э...

До ACL еще две недели, но у меня уже есть любимая статья https://arxiv.org/abs/2412.17533

Интересная деталь была сегодня в стриме про gpt4.1 – одновременно с этим релизом, анонсировали депрекейшн gpt4.5 в API (да, ту модель, которая вышла полтора месяца назад), с формулировкой что сейчас эти ГПУ нужнее в ресерче 🌚 Интересно, варится ли там снова что-то огромное, или настолько много ресурсов теперь у них уходит на аниме картинки в проде