Розбираємо цікаву статтю LLMs Can Get Brain Rot 😌 Стаття про те, що моделі теж деградують від думскролінгу. Дослідники з Техасу опублікували дуже цікаву роботу, яка викликала хвилю обговорень. Вони показали, що якщо LLM почати донавчати на низькоякісних даних із соцмереж коротких, популярних, клікабельних постах, то вона починає втрачати свої когнітивні здібності. Приблизно так само, як людина втрачає увагу і пам'ять, коли занадто багато думсерфіть. Чому так: Фактично, експеримент був наступним. Взяли Llama 3 8B Instruct і почали донавчати на коротких і дуже популярних постах, у яких багато лайків, ретвітів і реплаїв; і на контенті з низькою смисловою цінністю: клікбейт, конспірологія, все таке. Після цього заміряли метрики і порівняли з результатами до донавчання. Що маємо? – Якість ризонінгу впала з 74,9 до 57,2 – Розуміння довгого контексту – з 84,4 до 52,3 – На елаймент-тестах з'ясувалося, що у моделі розвинулися нарцисизм, макіавеллізм і психопатія Навіть після додаткового тюнінгу на чистих даних деградація не зникла повністю. Але справа в тому, що ніякого глобального відкриття тут немає. Пояснюється все це простим зсувом розподілу. При донавчанні на коротких, популярних, емоційно забарвлених твітах модель бачить зовсім інший статистичний ландшафт, ніж під час вихідного претрейну на книжках, статтях тощо. Це зміщує розподіл у просторі ембеддінгів і змінює attention-патерни. Модель постійно бачить короткі тексти без логічного ланцюжка, і, природно, маски уваги починають більше фокусуватися на останніх декількох токенах і втрачати довгострокові залежності, які раніше і забезпечували якісний CoT. Градієнтна динаміка тут теж грає проти нас. Втрати просто мінімізуються за рахунок поверхневих кореляцій, а параметри, що відповідають за довгі причинно-наслідкові зв'язки, майже не отримують оновлень. Ось і виходить, що моделька втрачає здатність довго міркувати. Автори називають цей феномен thought-skipping.