Speculative Decoding - ВСЁ? 😢 (на примере древнегреческой литературы) Архаический период. Зарождение эпоса (2017-2018) Тк сама идея спекдека довольна проста (можно пытаться «угадать» будущие токены, а не генерировать по одному) - архаичные люди сразу же догадались о ней после изобретения лаптевых трансформеров. Появляются статьи: Blockwise Parallel Decoding, где впервые описывается спекдек, а ещё говорится «ну необязательно угадывать идентичные токены - похожие тоже можно (эвристики)», NAT (это древний Multi Token Prediction) и Iterative Transformers (это древние диффузионные LLM). Тёмные века. Упадок культуры и письменности (2018-2022) Ничего не происходит. Хз почему, не шарю за лор архаичного нлп, я тогда в школе еще учился, свечку не держал, возможно щас бы на космолетах летали хз. На ICLR 23 крайний раз реджектится работа по спекдеку, где челы пытаются бертом угадывать будущие токены декодера для перевода, ну ревьюеры соответсвенно и сказали - ало где novelty? Фу Параша. Классический период. Расцвет Спекдека. 2022-2023 Господа, Гейм чейнджер! На ICML 23 публикуется работа Fast Inference from Transformers via Speculative Decoding, которую случайно неожиданно потом подрежет G✡️✡️GLE. В этой работе предлагается просто теоретический рабочий метод акцепта похожих токенов, а не эвристики типа Топ-К. Казалось бы че умного? Тут произошла смена парадигмы: от пожилых концептов "нейромашина шестерня электросхема" методов к чему то реально рабочему и бизнесовому, вот алгос - вот импакт. Далее ряд технических улучшений по типу tree attention, BoN, multi-draft, multi-token, recursive sampling и тд и тп Эллинистический период. Индивидуализм и утонченность. 2023-2024 Модели для спекдека становятся все более изощренными и "бизнесовыми" на узкий круг ценителей и компаний - Medusa, Eagle (лучшее промышленное решение с ICML 2024), Rest, Bass, Cllms и еще 100+ им подобных моделей. Акцепт статей на конференциях достигает своего максимума 2/3, улучшил бейзлайн на 5% и лосс дроп всего 20% ?! Ебать красавчик - держи постер. Крупные компании жируют, адаптации в vLLM, статьи рисуют ускорения по x20, полная утопия. Под властью Рима и собственных амбиций. 2024-2025 Спекулятивный декодинг внедряется во все: генерацию картинок, мамбу, агенты, телефоны, умные чайники, ирригаторы в курьров яндекс еды, и как гвоздь в крышку гроба любого издыхающего метода - многорукие бандиты и рл. Ничего нового, инкрементальные улучшения то тут то там. Акцепт на конференции упадет до 1/3 (ICLR 2026). Из Топ Тир конференций только ICML держит марку акцепта, тк первым открывает сезон, последняя надежда всех непринятых папир январь 26 года, посмотрим выстоит ли последний бастион или я тебя породил - я и убью. 2025-2026 ... ?