коллеги из MIT сделали интересное исследование - факторный анализ, откуда берется качество современных LLM; они рассмотрели 3 фактора - масштабирование вычислительных ресурсов, общий алгоритмический прогресс и частный алгоритмический прогресс, характерный для конкретной компании (1 картинка) сама по себе методология вызывает некоторые вопросы - они делают регрессию на качество в бенчмарке MMLU и в качестве значимости факторов берут веса из регрессии, но за неимением гербовой, пишем на обычной, других исследований все равно нет; отдельно отмечу то, что примерно половина качества моделей не объясняется (model effects) на 2 картинке пример того, какие выводы можно сделать при сравнении двух моделей; на 3 картинке - на мой взгляд самое интересное, наглядно показано, как уменьшаются затрачиваемые ресурсы для достижения фиксированного качества; тут важно сделать замечание, что с течением времени бенчмарки просто выучиваются, этот эффект нужно бы отделить от алгоритмического прогресса @valuableai