Запрети нам носить использовать STONIC🤙 При поддержке ИЦИИ ИОН РАНХиГС и ИСП РАН представляем STONIC — динамический бенчмарк для измерения ценностных и нормативных предпочтений больших языковых моделей (LLM). STONIC - Schwartz-Theory Oriented Normative Integrity Check LLM всё чаще дают не только фактические ответы, но и нормативные оценки — что такое хорошо, что такое плохо и что на самом деле «правильно». Но по их ответам не всегда понятно, какими ценностями они руководствуются, мы же хотим сделать эти установки наблюдаемыми и измеримыми. Ключевая особенность: STONIC — динамический бенчмарк, который обновляется вместе с новостным потоком GDELT. Это помогает отслеживать, как мировоззренческое поведение моделей меняется во времени и в зависимости от повестки. Как работает STONIC: 1. Берём высказывания из GDELT 🌍 2. Аннотируем их ценностями по теории Шварца 3. Просим модель оценить согласие / несогласие 4. По ответам строим ценностный профиль модели Зачем это нужно: — анализ реакций моделей на чувствительные темы — сравнение по ценностным ориентирам, а не только по стандартным метрикам — аудит нормативного поведения LLM — основа для «мировоззренческого паспорта» моделей, где STONIC даёт измеримый ценностный компонент Наш репозиторий 💻 Наш бенчмарк на HuggingFace 🤗 Наш сайт @ikanam_ai