Рад сообщить, что в эти выходные я выпустил новую версию моей библиотеки eval-ai-library 0.5.1 для оценки ИИ систем и в ней теперь есть ряд важных изменений! 1. Самое важно обновление - это возможность через удобный UI интерфейс подключиться к API вашей ИИ системы без необходимости написания кода. То есть теперь вам достаточно, как в postman, создать запрос к API вашей ИИ системы, получить ответ, с помощью JSONPath получить нужные данные и запустить оценку! И это доступно бесплатно через opensource! 2. Автоматическая загрузка ваших датасетов оценки через СSV или JSON файлы. 3. Объем доступных метрик для оценки теперь расширен до 35, я расширил не только базовые метрики оценки LLM-as-a-Judge, но и добавил детерминированные метрики, не требующие внешней LLM, а также метрики оценки через embeddings. 4. Фреймворк теперь поддерживает большое количество провайдеров и моделей для LLM-as-a-Judge и генерации датасета (12 провайдеров LLM) 5. Ну и самое классное, что подготовлена полноценная документация по работе с фреймворком, доступная по ссылке library.eval-ai.com, в том числе и на русском. Я буду благодарен за ваши звезды⭐⭐⭐ на GitHub, это поможет сделать мой фреймворк более видимым для всех, а также за использование его в своих проектах и обратной связи. Ссылка на репозиторий https://github.com/meshkovQA/Eval-ai-library.git Если у вас идеи по доработке фреймворка, то вы всегда можете завести issue с типом “feature request” в GitHub. Полезная информация: Курс по evaluation AI | Мой фреймворк для оценки AI | С чего начать изучение AI | Инструменты для оценки AI | Инструменты для оценки AI (ч.2)