Можно ли заменить асессоров на LLM? Да, но с умом. На первый взгляд, кажется, всё просто: пишем промт, отправляем его в модель и получаем результат. Это дешевле и быстрее, чем разметка людьми. Но на практике, чтобы промт работал качественно, требуется множество итераций, улучшений и экспериментов. Например, для нашей модели эмоций мы потратили 3 недели на оптимизацию промпта. В результате получили хороший коэффициент согласованности LLM и асессоров — в среднем, 0,81. Затем мы обучили два классификатора на разных датасетах: 📌 Исключительно с LLM-метками. 📌 С асессорскими метками после проведенной работы по улучшению согласованности и уменьшению ошибок. Разметка LLM — Weighted F1 0,66 Разметка асессоров — Weighted F1 0,7 В результате качество на LLM-метках лишь немного не дотягивает до эталонной разметки. При этом мы сэкономили большое количество времени и человеческих ресурсов. Таким образом, на текущем этапе LLM можно рассматривать как джуниор-асессора. Модель отвечает примерно как человек, и в отсутствии ресурсов её можно использовать для разметки данных. В некоторых задачах это даст качество, сопоставимое с эталонной разметкой. 💜Серию постов про разметку написал Антон Земеров, ML-тимлид в круге «Общение с клиентом»