1.3Kпросмотров
91.5%от подписчиков
9 марта 2026 г.
Score: 1.5K
Ля че в мире то происходит а! MIT придумали как дать нейросети бесконечный контекст (кликбейт если что прям из статьи, не я придумал) Проблема: чем больше текста даёшь модели, тем хуже она работает (context rot, lost in middle, ext) Текущие решения: 1) Суммаризация(compact) теряет детали 2) Clear — убивает контекст полностью, начинаешь с нуля 3) Хранить данные в файлах а не в контексте - это работает, но модель всё равно копирует содержимое файлов в контекст при чтении каждый раз Решение из 2026 — Recursive Language Models (RLM):
Не пихай текст В модель. Положи рядом и дай ей инструменты для поиска. Как работает:
1) Вся дата для анализа, ресеарча (хоть 10М токенов) - это переменная в Python
2) Модель сама пишет код для поиска по этим данным (regex, keywords)
3) Нашла кусок - вызывает саму себя на нём (рекурсия)
4) Каждый sub-вызов работает с коротким контекстом = думает качественно Таким образом, среди всего того что НЕ НУЖНО для решения задачи, она находит и собирает только то что НУЖНО, для того чтобы потом работать с САМЫМИ РЕЛЕВАНТНЫМИ данными. Пример: просишь "как работает оплата" в проекте на 50k строк. Сейчас агент грепает файлы → читает payment.py, stripe.py, webhook.py, orders.py → всё летит в контекст → забивается → путает stripe webhook с order webhook. RLM: ищет программно "payment", находит 15 файлов, ныряет в каждый по отдельности с чистым контекстом, собирает ответ.
И не путает, потому что каждый файл анализирует отдельным вызовом. Результаты из бумаги MIT: 1) Дали GPT-5 огромную кодовую базу и попросили ответить на вопросы по ней. Без RLM — правильных ответов 24%. С RLM — 62%. 2) Дали 1000 документов (6-11М токенов) и задачу собрать инфу из разных мест. Без RLM — 0%, промпт тупо не влез. С RLM — 91%. 3) При этом до 3x дешевле чем суммаризировать всё это. По сути Claude Code уже делает в каком то виде "бедную версию" этого (grep, read по одному). Но без рекурсии и файлы всё равно попадают в контекст. Ждём пока это станет встроенным, или пишем скрипты сами Бумага: https://arxiv.org/abs/2512.24601