🚶‍♀️Вдогонку к предыдущим постам: чего вообще мы хотим, когда задаём LLM роль в промпте? «Ты – интеллектуальный ассистент», «ты – senior‑программист», «ты – доменный эксперт»… ⏺️ Обычно мы предполагаем, что модель начнёт отвечать точнее и экспертнее. ❓Но действительно ли это так? Стали бы ответы хуже, если бы мы вообще не задавали роль и оставили «базовую» модель без всей этой ролевой обвязки? 📑Исследование "When “A Helpful Assistant” Is Not Really Helpful" (2024, но всё ещё актуально) показывает, что задание персоны в system prompt в среднем не даёт устойчивого прироста качества, а в ряде случаев даже приводит к незначительному ухудшению результатов. 🎯 Положительный эффект иногда наблюдается, но он не переносится между задачами. Каждая задача имеет свою «оптимальную» ролевую персону, а универсального профиля не существует. Автоматический подбор такой персоны оказывается настолько трудоёмкой задачей, что на практике эффект от роли либо случаен, либо настолько мал, что им можно пренебречь. ============ ‼️При этом роль действительно полезна в другом. Она меняет стиль, форму подачи и поведение модели. Роль — это не слой знаний и не слой оптимальности, а слой поведения и самопрезентации, который иногда может косвенно повлиять на результат, но не гарантирует его улучшения. Но и тут, как мы обсуждали в предыдущем посте – боль и разочарование: деградация роли, дрейф и неустойчивость. 🫠 ❗️Зато это легальный способ поиграть «взрослым (и не очень) дядькам» в «куклы», за которые им ещё и заплатят 300k/сек: интересно, весело и красиво – но глобально бесполезно. 💔