Что делать с ошибочными разметками? Это продолжение поста об асессорской разметке данных. Если мы нашли ошибки в разметке, то можем: 📌 Передать несогласованные примеры на доразметку эксперту. Это самый простой вариант, но не всегда есть возможность привлечь доменного эксперта. 📌 Использовать библиотеку CleanLab для работы с шумными данными. В её основе лежит алгоритм confident learning, который автоматизирует поиск ошибок. Как это работает: 1) Обучаем произвольную модель — от градиентного бустинга до нейросетей. 2) Строим совместную матрицу вероятностей, чтобы выявить взаимосвязи и ошибки в предсказаниях (например, частые путаницы между классами). 3) Ищем подозрительные примеры — экземпляры с низкой вероятностью истинного класса. В нашей задаче по эмоциям CleanLab помог отфильтровать набор примеров, которые отправились на дополнительную экспертную проверку. 📌 Далее можем построить Dataset Cartography, чтобы визуализировать, как модель учится на каждом примере. Для этого обучаем модель и сохраняем эволюцию предсказаний по эпохам для каждого класса, а затем рассчитываем коэффициенты: 🔍 Confidence — средняя вероятность предсказания истинного класса. 🔍 Variability — дисперсия вероятностей по эпохам. Показывает, насколько часто модель меняет своё предсказание с течением эпох. 🔍 Correctness — доля эпох, когда пример классифицировался верно. На выходе мы получаем график, который делит примеры на три зоны (график смотрите ниже): 📝 Easy-to-learn: простые примеры, которые модель легко распознаёт. 📝 Ambiguous: неоднозначные примеры, которые нужны для обучения модели, чтобы она обобщалась. 📝 Hard-to-learn: вероятные ошибки в разметке. Таким образом, для первичной фильтрации ошибок можно использовать CleanLab. А затем использовать Dataset Cartography, чтобы глубже понять структуру данных. В следующем посте — про синтетическую разметку данных с помощью GPT.