Что делать, если асессорская разметка не совпала с экспертной? В прошлом посте мы выяснили, что коэффициенты согласованности не всегда отражают финальное качество разметки и модели. В нашем случае почти половина примеров размечена неверно — асессоры согласны между собой, но не с экспертами. Как можно улучшить разметку: 📝 Проверить формулировку задачи и прописать подробный гайд с корнер-кейсами. Можно взять выборку, разметить её по гайду и посмотреть, где возникают споры — эти места нужно уточнить. 📝 Собрать тестовый датасет с золотой разметкой с помощью эксперта. После этого можно отобрать асессоров с высокими показателями на тестовом наборе или провести брифинг-встречу со всеми асессорами, чтобы обсудить ошибки. 📝 Разбить работу на чанки и добавить в каждый golden set для валидации. Это позволит оценивать качество разметки итеративно и следить, насколько асессоры попадают в золотой набор. После внедрения этих шагов в нашей модели эмоций взвешенный F1 вырос с 0,61 до 0,7, а расхождение экспертной и асессорской разметки упало с 44% до 18%. Также хорошо подтянулись небольшие проблемные классы: Благодарность — 0,8 → 0,76 Нейтральный — 0,7 → 0,75 Удовлетворительно — 0,68 → 0,74 Нетерпение — 0,57 → 0,53 Разочарование — 0,57 → 0,55 Замешательство — 0,46 → 0,7 Важно: низкая согласованность не всегда означает плохую работу асессоров. Причинами могут быть: 📎 Неоднозначность задачи: она может подразумевать некоторую неопределенность. Например, такое часто встречается при подготовке диалоговых данных для LLM. 📎 Разный бэкграунд асессоров: внутренние AI-тренеры и внешние подрядчики могут понимать задачу по-разному. Это приводит к значительным различиям в оценках. Поэтому ML-инженерам и датасаентистам важно самим вчитываться в данные и понимать, как они размечены. Что делать с ошибочными разметками — расскажем в следующем посте.