Всем привет! Хочу поделиться с вами моей новой работой, которая пока опубликована как preprint, и в которой я исследовал вопрос, связанный с использованием различных подходов к оценке генеративных ИИ систем на базе созданного датасета из 500 запросов/ответов, который я разметил самостоятельно. Полученный данные показали качество оценки различных методов и их корреляцию с экспертной оценкой, а также полученные данные позволили мне формализовать процесс выбора подхода к оценки ИИ систем в зависимости от целей и задач, которые стоят перед ИИ системой. Опубликованный preprint доступен по ссылке https://www.researchsquare.com/article/rs-8658385/v1, буду благодарен за ревью работы и предоставлении обратной связи, а также цитирования. Полезная информация: Курс по evaluation AI | Мой фреймворк для оценки AI | С чего начать изучение AI | Инструменты для оценки AI | Инструменты для оценки AI (ч.2)