Вместо итогов года, хочу поделиться моим списком лучших — самых значимых или просто понравившихся — статей, которые я прочитал за последние два года (про 2024 раньше не писал). В порядке прочтения. Unified Embedding Статья DeepMind о том, что можно использовать одну универснальную таблицу эмбеддингов для многих sparse фичей. Полезная практическая статья. Обзоры в Рекомендательной и у Дани. Actions Speak Louder than Words Громкая статья от Meta. Первая показала, что можно обучать огромные модели для рекомендаций. Ввела HSTU и новое представление истории. Лично для меня это был первый намёк на то, что когда-нибудь мы сможем отказаться от всех ручных фичей. Обзоры в Рекомендательной и у Даши. Revisiting Neural Retrieval on Accelerators Meta показала, что retrieval можно делать на GPU без индекса. Также вводят для второй стадии модель mixture-of-logits (MoL), которая является более выразительной, но всё ещё относительно дешевой в вычислениях функцией. Для меня это была первая статья, показавшая, что retrieval можно делать лучше, чем всем привычным HNSW. И я сам потом работал над этим подходом. Обзоры у меня и у Саши. А в последующей статье показали, что можно всё-таки и с индексами и без GPU напрямую искать топ по MoL. Обзор в Рекомендательной. Серия Semantic IDs от DeepMind - Generative Retrieval (обзоры у Саши и в Рекомендательной) - Better Generalization (обзор у Дани) - PLUM (обзоры у Кирилла и в Рекомендательной) Номер 1 по значимости, самый существенный сдвиг парадигмы последнего времени. Токенизатор рекомендательного мира, представляющий контентную информацию об объектах в виде кодов из конечного словаря, полученного из иерархической кластеризации (RQ-VAE). Использование этой токенизации для нового метода retrieval, для более эффективных эмбеддингов в ранжировании и для связи с LLM. Уже повлияло на всю индустрию. Must read. Streaming Vector Quantization Retriever Одна вещь, которая меня больше всего смущала в Semantic IDs, — что RQ-VAE обучается отдельно, не end-to-end совместно с рекомендательной задачей. В этой статье ByteDance как раз исправили это. Правда, тут не иерархический RQ-VAE, а одноуровневый VQ-VAE. Зато real-time. Обзор в Рекомендательной. Stop Regressing Единственная статья не про рекомендации, хотя и в рекомендациях тоже может быть полезной. DeepMind о том, как в задачах регресии (на примере value function в RL) моделирование распределения таргета (вместо точечной оценки) с помощью Histogram Loss улучшает масштабируемость. Про сам Histogram Loss можно прочитать и в оригинальной статье. Для меня это теперь достаточно близкая тема. Про статью я узнал из выступления Дмитрия Бабаева на ICML Recap (а также в ML Underhood). Серия OneRec от Kuaishou - OneRec - OneRec Technical Report - OneRec-V2 Technical Report - OneRec-Think (и ещё какое-то количество статей, но я, признаюсь, даже последние две ещё только собираюсь прочитать) Не называю это номером 1 по значимости только лишь потому, что оно во многом является продолжением Semantic IDs. Но всё же доводит их до того, что многие уже называют революцией — первая индустриальная end-to-end рекомендательная система, без нескольких стадий ранжирования. Вот примерно так будут выглядеть системы нового поколения. Must read. Обзоры у Саши, в Рекомендательной и у Коли (1, 2, 3). Correcting the LogQ Correction Приз моей личной симпатии, потому что 1) улучшили знаменитую технику Гугла LogQ-коррекции, 2) я сам какое-то время думал на эту тему, 3) я рад за Кирилла и команду 😉 Обзор у автора. На этом всё. Надеюсь, это будет кому-нибудь полезно. Мне самому было бы очень полезно, если бы авторы дружественных каналов позаимствовали такой формат! (только не «лучшие посты года»...)