🤗 На Hugging Face запустили новый лидерборд для оценки возможностей LLM в финансовых задачах Open FinLLM Leaderboard предоставляет специализированную систему оценки, адаптированную конкретно для финансового сектора. Особенности: 🔘Рейтинг использует методику zero-shot оценки, тестируя модели на неизвестных финансовых задачах без предварительной настройки; 🔘Охватывает задачи по семи категориям: извлечение информации (IE), текстовый анализ (TA), вопросы-ответы (QA), генерация текста (TG), управление рисками (RM), прогнозирование (FO) и принятие решений (DM). 🔘Модели оцениваются с использованием различных метрик, таких как точность (Accuracy), F1, ROUGE и коэффициент корреляции Мэттьюса (MCC).