На связи команда LLM Arena. Видим как за последнее время активно растет число подписчиков и пользователей платформы, поэтому самое время рассказать, кто мы и чем можем быть полезны. 1. LLM Arena — открытая краудсорсинговая платформа для сравнения и тестирования LLM и text-to-image-моделей. С июля 2024 года мы публикуем объективный рейтинг российских и зарубежных языковых моделей. Кто стоит за ru-Ареной: Роман Куцев — Founder LLM Arena, Founder TrainingData, выпускник ВМК МГУ, 8 лет в сборе и разметке данных. ⛓️ Канал «Роман с данными» 2. Что можно делать на llmarena.ru 👀Тестировать свои задачи — анонимно для большей объективности. Отправляйте разные промпты и ставьте оценки. Именно из ваших голосов формируется рейтинг LLM для русскоязычных кейсов. ⛓️ Арена (анонимно) 👀Сравнивать передовые LLM. У нас доступны российские и зарубежные решения для A/B-тестирования. Отдельные модели развёрнуты нами эксклюзивно и недоступны на других платформах. ⛓️ Арена (сравнение) 👀Следить за рейтингами и авторскими бенчмарками. Регулярно публикуем рейтинги LLM и t2i-моделей и дополняем их авторскими бенчмарками ⛓️ Таблица лидеров 3. Полезные кейсы и материалы Arena Explorer — интерактивное исследование тем и сценариев пользовательских запросов + статья POLLUX — уникальный бенчмарк и демо-сервис, который можно попробовать на llmarena.ru Text-to-image арена 1.0 — первая в РФ t2i арена с российскими моделями Кейс LLMArena — можно ли воспроизвести рейтинг LLM силами краудсорсинга? Спойлер: мы — можем. Исследование про LLM-бенчмарки — о том, как команды походят к выбору моделей под свои бизнес-сценарии. 4. Чем можем быть полезны и как связаться Для партнёрств: @roman_kucev Для официальных запросов: info@llmarena.ru Для идей, предложений и вопросов: комьюнити Наш мини-апп Наш Хабр Наши услуги