Valuable AI / Валентин Малых

коллеги прислали ссылку на статью из журнала "Природа" Nature, которая посвящена тому, чтобы обучить LLM рассуждать байесовски; тут надо сделать отступление и пояснить, что это такое, а то не все в курсе; байесовское принятие решений - это когда субъект делает вероятностное суждение об объекте: например, вдалеке видно какое-то животное, можно предположить, что это скорее всего собака, но может быть и волк (1 картинка) важно отметить, что а) люди в среднем без специального обучения так рассуждать...

пару лет назад я выступал с докладом - "Как писать программы без программистов, но с трансформерами"; суть доклада была в том, что мы можем буквально выучить внутри весов трансформера алгоритм решения какой-нибудь задачи а на днях появились люди, которые пошли дальше: они утверждают, что если ограничить размерность для механизма внимания 2, то тогда архитектура трансформера становится Тьюринг-полной и можно напрямую компилировать C-код в трансформер они утверждают, что ничего в самом трансформер...

что-то тема AGI людей не отпускает, вот и DeepMind выкатил свой тест когнитивных способностей (1 и 2 картинки); точнее не сам тест, а скорее свои пожелания к тому, как он должен выглядеть на мой взгляд, этот подход является шагом назад по сравнению с подходом, изложенным новой "бандой четырех" во главе с Яном Лекуном; мы его разбирали на Капитанском мостике неделю назад, но на всякий случай еще раз (3 картинка): человеческий разум никогда не был универсальным, он четко заточен под определенные з...

я почти ровно год назад вспоминал про nanoGPT от Андрея Карпатого, напомню, что суть там в том, чтобы максимально быстро натренировать аналог GPT2-small со 124 млн параметров на 8 картах H100 до перплексии 3.28 или меньше; самый свежий результат был 2 недели назад - 86 секунд, за год смогли время уменьшить вдвое видимо, посмотрев на это, OpenAI запустили свое соревнование - надо обучить модель размером до 16 Мб (nanoGPT порядка 500 Мб) за 10 минут на тех же 8 картах H100; качество определяют по ...

всем привет, новый выпуск Капитанского мостика, ведем его как всегда мы - я и Дмитрий Колодезев #КапитанскийМостик Обсуждение последних новостей в области искусственного интеллекта, включая военные разработки, регулирование и новые технологии. Экспертное мнение о будущем ИИ и его влиянии на общество и бизнес. Обсуждение последних трендов в области искусственного интеллекта, регуляции, технологий и рынка. Ведущие делятся своими взглядами на будущее ИИ, развитие аппаратных средств и влияние на биз...

суровая правда жизни #суббота @valuableai

коллеги из MIT сделали интересное исследование - факторный анализ, откуда берется качество современных LLM; они рассмотрели 3 фактора - масштабирование вычислительных ресурсов, общий алгоритмический прогресс и частный алгоритмический прогресс, характерный для конкретной компании (1 картинка) сама по себе методология вызывает некоторые вопросы - они делают регрессию на качество в бенчмарке MMLU и в качестве значимости факторов берут веса из регрессии, но за неимением гербовой, пишем на обычной, д...

сегодня мое любимое - про RNN-ки; недавно вышла статья от коллег из Колумбийского университета и IBM Research, где показывается, что можно предсказывать ЭЭГ лучше, если использовать распознавание речи (1 картинка - обзор) звучит загадочно, но суть простая взяли ЭЭГ и проверили, что с разных регионов мозга можно снимать сигналы коррелириующие с разными аспектами распознавания речи (2 картинка); сделали 7-слойную модель ASR и показали, что слои тоже примерно также коррелируют (3 картинка), а также...

я пожалуй воздержусь от комментариев #суббота за картинку спасибо Жене @valuableai

сегодня я хочу рассказать про нашу статью Call, Reward, Repeat: Advancing Dialog State Tracking with GRPO and Function Calling; благо есть повод - на EACL SRW она получила награду Outstanding paper суть работы довольно простая, но сначала надо сделать отступление и рассказать про саму задачу DST - Dialogue State Tracking; идея в том, что при общении с пользователем диалоговая система должна хранить полученные данные, чтобы выполнить потребность пользователя (1 картинка) еще до нас придумали, что...