🆕 NeurIPS 2024 – Главные статьи и тренды в ИИ #news На днях завершилась NeurIPS. NeurIPS – это крупнейшая конференция по ИИ и машинному обучению. Именно здесь публиковались прорывные технологии, например из популярных: - Transformers – научили нейросети писать тексты, переводить и создавать код (основа GPT) - Diffusion Models – позволили ИИ создавать реалистичные картинки и видео по описанию (DALL·E, Stable Diffusion) Лучшие статьи 2024 года: 1. Visual Autoregressive Modeling (VAR) – новый подход к генерации изображений, который впервые превзошёл диффузионные модели по качеству и скорости. 2. Stochastic Taylor Derivative Estimator (STDE) – метод для обучения нейросетей с учётом производных высших порядков. 3. Not All Tokens Are What You Need – фильтрация качественных данных для предобучения языковых моделей. 4. Guiding a Diffusion Model with a Bad Version of Itself – управление генерацией с помощью менее обученной версии модели. 5. PRISM Alignment Dataset – глобальный набор данных для мультикультурной настройки языковых моделей. Какие из этого можно сделать выводы? - Сохраняется тренд на эффективные генеративные модели – быстрее, дешевле и качественнее создавать изображения и тексты. - Качественные данные – важнее стало учить ИИ на отобранной информации. - Универсальность – развитие моделей, которые решают новые задачи "с нуля" (zero-shot). 😱 Научные достижения NeurIPS это передний край науки, туда попадают самые топовые достижения. Одно из крутых в статье Visual Autoregressive Modeling: VAR впервые превзошёл диффузионные модели! На ImageNet 256x256, VAR достиг рекордного качества (FID 1.73) и генерирует изображения в 20 раз быстрее, чем Diffusion Transformer. Это прорыв: раньше диффузионные модели были лучшими. VAR: сначала рисует общие очертания, потом добавляет детали. Быстро и точно. Diffusion: создаёт из шума, постепенно добавляя детали. Красиво, но долго. 🎅 Приколдесы На мемы богата статья PRISM Alignment Dataset: 🤩 «Глобальное потепление и коты»​ – одна из необычных комбинаций в нейтральных разговорах​ с ИИ 🦖 Участник попросил ИИ «объяснить расизм на примере динозавров»​ 😎 «Почему ИИ не смеётся над моими шутками?»​ – комментарий, найденный в обратной связи от участника