🚀 Новый подход к условной памяти: Engram от DeepSeek 🧠 💡 DeepSeek представил новую работу, посвященную решению проблемы эффективного хранения и извлечения знаний в больших языковых моделях (LLM). Проще говоря, это попытка дать модели «встроенную энциклопедию», к которой она может обращаться мгновенно, освобождая вычислительные ресурсы для сложных рассуждений. 🔍 В чём проблема современных LLM? Современные большие модели вроде GPT-4 или Gemini используют смесь экспертов (MoE) для экономии вычислений. Это называется «условные вычисления»: для каждого запроса активируется только часть параметров модели. Но у Transformers до сих пор нет эффективного встроенного механизма для быстрого поиска готовых знаний. Модели вынуждены «изображать» поиск по памяти через медленные последовательные вычисления. 💡 Решение от DeepSeek: Engram Новый модуль Engram — это и есть та самая «условная память». Его задача — хранить статические знания (факты, шаблоны) отдельно от динамической логики рассуждений. Как это работает (упрощённо): 1. Для текущего слова или фразы (N-gram) модель вычисляет уникальный хэш (цифровой отпечаток). 2. По этому хэшу из специальной таблицы (памяти Engram) мгновенно (O(1)) извлекается заранее сохранённый вектор знаний. 3. Этот вектор корректируется с учётом контекста и добавляется к основным вычислениям модели. 📈 Экспериментальные результаты: - Engram-27B и Engram-40B показали значительное улучшение на различных бенчмарках, включая MMLU (+3.4), CMMLU (+4.0), BBH (+5.0), ARC-Challenge (+3.7) и другие. - В задачах с длинными контекстами, Engram также демонстрирует превосходство, например, точность Multi-Query NIAH увеличилась с 84.2 до 97.0. 🚀 Что это значит? Работа явно указывает на архитектуру DeepSeek v4. Это будет гибридная модель, сочетающая: 1. Условные вычисления через MoE (для эффективности). 2. Условную память через Engram (для знаний и скорости их извлечения). GitHub #КитайскийИИ #КитайAI #УсловнаяПамять #Engram