Наталия Поварова | Думаем об ИИ и людях

Как насчёт того, чтобы менять поведение языковых моделей хирургическим путём? Рассказывают авторы статьи «Model Surgery: Modulating LLM’s Behavior via Simple Parameter Editing». В чём суть? 🔹 Языковые модели могут генерировать потенциально вредный текст в ответ на хорошо подобранный запрос – хорошо бы удалить эту способность, чтобы в недобрых руках они оказались бесполезны. 🔹 Можно использовать разные техники дополнительного обучения, и это работает, однако не бесплатно: нужны вычислительные р...

Существующие методы воздействия на языковые модели недостаточно хороши Мы с вами говорили здесь уже неоднократно про разные способы изменения ответов языковых моделей так, чтобы эти ответы были более безопасными и надёжными. Для этого используют дополнительное обучение, дополнительный контекст (например, базы данных с проверенной информацией), аккуратно написанные инструкции и некоторые «методы прямого воздействия» – это не общепризнанный термин. Под методами прямого воздействия я понимаю всё то...

Куда показывает моральный компас языковой модели Ещё одна статья на тему того, какие моральные нормы и ценности попали в языковые модели из тренировочных данных – «Exploring and steering the moral compass of Large Language Models». Ещё одна из многих, но меня в ней зацепил подход: авторы давали разным моделям на вход этические дилеммы и сравнивали ответы. Что ещё мне понравилось, они сопоставляют ответы с разными философскими течениями («школами этической мысли», как в статье написано). Пример д...

Моя лента в соцсетях подтолкнула меня написать пост... про сезонное аффективное расстройство

Какой навык будет самым востребованным в новом мире с ИИ? Не знаю. Вероятнее всего, будет сложно или даже невозможно выделить один конкретный навык или их набор. Но есть один интересный навык, который наверняка будет полезен многим людям, с ИИ или без – вычислительное мышление (computational thinking). Как обычно, мне не нравится перевод термина, потому что «вычислительное мышление» подразумевает не только умение что-нибудь вычислять. Мне нравится вот это определение: Вычислительное мышление – э...

На случай, если вам будет нечем заняться в длинные выходные, принесла вам почитать немного ✨ Это пост про то, как ИИ-агентов пытались обучать через наблюдение друг за другом, но оно не слишком получилось

Могут ли ИИ-агенты сформировать собственный общественный договор? Общественный договор – это перечень неписаных правил, которые принимаются и выполняются всеми членами группы Начинать рабочее совещание с вопроса: «Как дела?», прощаться, желая друг другу хорошего дня, пожимать руки при встрече – сегодня речь о неписаных правилах такого порядка. Авторы статьи «Emergent social conventions and collective bias in LLM populations» решили проверить, будут ли ИИ-агенты, в основе которых лежат языковые м...

Как обеспечить прозрачность ИИ хирургическими методами Сегодня в нашем меню любопытная работа, которая описывает подход к обеспечению прозрачности ИИ, вдохновлённый когнитивной нейробиологией – «Representation Engineering: A Top-Down Approach to AI Transparency». Мы про этот подход уже говорили, и не раз – вы это сейчас увидите. Но конкретно данная статья, на мой взгляд, являет собой хороший обзорный материал, поэтому остановимся на ней подробнее. ▶️Для начала вынесем слона из комнаты, а то что ...

Я что-то не могу придумать цепляющую подводку к этому посту, поэтому просто вот Он про изучение внутренних процессов больших языковых моделей одним любопытным способом

Как наилучшим образом совмещать людей с ИИ? ▶️ИИ уже здесь, и мы уже активно его используем, иногда даже сами того не замечая. Посему нерационально будет бороться с его использованием и пытаться провернуть назад фарш технологического прогресса. Рационально будет искать способы использовать ИИ наиболее безопасным, надёжным и полезным для себя способом, то есть, таким способом, который позволил бы нам дополнить наши возможности. Метафорически представим себе ИИ как некий экзоскелет: мы наденем его...