🐙 Engram — условная память через масштабируемый поиск by deepseek-ai | ⭐ 973 Репозиторий содержит официальную реализацию Engram — модуля условной памяти для больших языковых моделей, модернизирующего классические n‑gram embeddings для O(1) lookup. Engram вводит дополнительную ось разреженности, дополняющую Mixture‑of‑Experts (MoE): авторы формализуют компромисс между нейронными вычислениями и статической памятью, выявляют U‑образный закон масштабирования и показывают, что Engram‑27B стабильно превосходит MoE‑базисы при iso‑параметрах и iso‑FLOPs в задачах знаний, рассуждения, кода и математики. Модуль использует детерминированную адресацию, что позволяет выгружать большие таблицы эмбеддингов в хост‑память с минимальными накладными расходами; в репозитории есть демонстрационный PyTorch‑скрипт (Python 3.8+) с моками для иллюстрации работы, использование моделей регулируется лицензией. GitHub →