🎓 Откуда берутся данные для обучения нейросетей? #ликбез Чтобы обучить нейросеть, нужны данные с разметкой. Разметку может сделать только человек руками. Буквально человеку показывают изображения, тексты или другие данные и просят их классифицировать или объяснить. Например: - В ChatGPT разметка включает оценку ответов модели, улучшение диалогов, добавление контекста. - В MidJourney — разметка изображений, где человек указывает, что именно изображено, или оценивает качество сгенерированных картинок. Кто обрабатывает и размечает гигантские объемы текста и изображений? Разметку часто выполняют жители стран с недорогой рабочей силой, таких как Индия, Филиппины, Кения и Индонезия. А также через платформы вроде Amazon Mechanical Turk и Yandex.Toloka. В одном из проектов, где я работал, разметку делали в Коста-Рике. Кстати, когда мы отмечаем "все изображения с автобусами" в CAPTCHA, мы тоже участвуем в разметке данных.