Привет, друзья! За последний год я писала про SAE 11 раз. А ещё взяла с ними дипломную. SAE-шки — очень практичный и интересный метод. Они позволяют разложить внутренние представления трансформера на разреженные признаки, на которые мы можем посмотреть и которыми мы можем управлять. А ещё мой последний туториал был 4 месяца назад. Так что звезды сложились — и я снова дошла до Хабра со статьей и ноутбуком! В туториале: — что такое SAE и зачем вообще «раздувать» скрытое пространство; — где именно в трансформере обучают SAE (residual stream, attention, MLP); — как читать признаки через Neuronpedia; — как извлекать и анализировать активации признаков; — как запускать модель с SAE внутри и смотреть, что ж активируется по слоям. Этот материал лежал в заметках. И когда я его писала — очень хорошо уложила себе базу. Надеюсь, для вас это тоже сработает! Чудесного начала недели! Ваш Дата-автор! ❤️