🧠 Бесконечный контекст без дообучения? Встречайте DroPE от Sakana AI Обычно, чтобы заставить LLM работать с длинным контекстом (Long Context), приходится либо использовать методы интерполяции (как YaRN), либо проводить дорогостоящий файн-тюнинг на длинных последовательностях. Ребята из Sakana AI (те самые, что делают Evolution Merging) выпустили новый метод — DroPE (Dropping Positional Embeddings). В чем суть? Авторы заметили парадокс: позиционные эмбеддинги (например, RoPE) критически важны для сходимости во время обучения, но на этапе инференса они становятся бутылочным горлышком, мешающим модели обобщаться на длину, превышающую ту, что была в трейне. Как это работает: 1. Pre-training: Модель учится как обычно с RoPE. 2. Dropping: После обучения позиционные эмбеддинги... просто удаляются. 3. Recalibration: Проводится быстрая и дешевая калибровка на исходной (короткой) длине контекста. Результат: Модель начинает отлично работать с контекстом, который в разы превышает длину обучения (например, 2x и более), при этом не требуя тяжелых вычислений или специализированных архитектур. Почему это круто: ✅ Дешевле: Не нужен дорогой Long-Context Fine-Tuning. ✅ Эффективнее: Работает лучше, чем популярные методы скейлинга типа YaRN или Position Interpolation (PI). ✅ Универсально: Протестировано на Llama-2 и SmolLM. Авторы утверждают, что позиционные эмбеддинги - это как "тренировочные колеса": они нужны, чтобы научиться ездить, но потом только мешают ехать далеко. 📄 Paper: https://pub.sakana.ai/DroPE/ 🔗 Репозиторий: github.com/SakanaAI/DroPE #AI #LLM #SakanaAI #LongContext #Research 👉 @bigdata_1