An Observation on Generalization Каждый раз, когда вы слышите, что пре-трейнинг LLM — это “ZIP-архив” Интернета с потерями, это звучит одновременно понятно и нет. Илья Суцкевер одним из первых ввёл интуицию думать об обучении без учителя, как о сжатии данных. Формула “интеллект == компрессия” актуальна и в 2025 (см. GPT-4.5), а доклад успел стать абсолютной классикой. Обязателен к просмотру для того, чтобы понять, почему bitter lesson и scaling laws работают. ▶️ YouTube