Google DeepMind исследует, как LLM учат факты, обнаружив, что процесс происходит в три этапа: от запоминания статистических закономерностей до формирования связей между элементами текста и, наконец, к точному воспроизведению фактов. Это исследование помогает понять причины “катастрофического забывания” при добавлении новых данных. https://arxiv.org/pdf/2503.21676