Промпты типа "ты эксперт" Иногда помогают, иногда мешают. Интересный пост на эту тему: https://www.linkedin.com/posts/ekiledjian_expert-personas-improve-llm-alignment-but-activity-7442170166022397952-ChNb/ Перевел его почти целиком. Новое исследование Университета Южной Калифорнии («Экспертные персоны улучшают согласование с языковыми моделями, но ухудшают точность») протестировало экспертные подсказки для создания персон в шести крупных языковых моделях и, наконец, объясняет, почему сообщество получило такие противоречивые результаты. Вывод прост, но важен: подсказки для создания персон — это инструмент согласования(alignment), а не инструмент получения знаний. Когда персоны ПОМОГАЮТ: → Тон и стиль письма (оценки выросли с 7/10 до 9/10 при составлении профессиональных электронных писем) → Безопасность и отказ (устойчивость к взлому улучшилась до 17,7%) → Соблюдение формата, структурированный вывод и следование намерениям → Более длинные и подробные описания персон усиливают эти преимущества Когда персоны ВРЕДЯТ: → Фактическая точность и поиск знаний (точность снизилась с 71,6% до 68,0%) → Математические и логические рассуждения (один пример ухудшился с 9/10 до 1,5/10) → Задачи программирования, требующие точного запоминания → Более длинные описания персон усугубляют ситуацию Пять вещей, которые вы можете сделать прямо сейчас: 1. Используйте персоны для творческих, редакционных и задач, требующих соблюдения требований. Откажитесь от них для поиска фактов, вычислений и логики кода. 2. Размещайте описания персон в системном запросе, а не в сообщении пользователя — это важно для хорошо оптимизированных моделей. 3. Если вы используете модели рассуждений (например, DeepSeek R1), полностью откажитесь от использования экспертных персон. Исследования показывают, что случайная персона работает так же хорошо — модель выигрывает только от увеличения контекстной длины, а не от экспертных знаний. 4. Для повышения уровня безопасности одним из самых дешевых и эффективных способов является использование специальной "safety monitor" persona в системном запросе. 5. Когда вам необходимо использовать персону в работе, требующей высокой точности, делайте ее как можно короче, чтобы минимизировать помехи при запоминании фактов. Итог: рассматривайте подсказки с описанием персон как усилитель тона и согласованности, а не как средство повышения уровня знаний. Знание того, когда их использовать, а когда убирать, является реальным конкурентным преимуществом. @cgevent