4.5Kпросмотров
19 марта 2024 г.
📷 ФотоScore: 4.9K
Claude-opus на русском умнее chatgpt-4! Есть классная чатбот арена, где пользователи оценивают, какая из двух языковых моделей ответила на их вопрос лучше. На основе предпочтений пользователей формируются рейтинги умности этих моделей. Сейчас это самый объективный рейтинг. Часто его смотрю. Сегодня я посмотрел на датасет сравнений и обнаружил, что создатели платформы ещё и сохраняют и язык запросов! А это значит, что можно выбрать только запросы на русском и заного пересчитать скрипты для вычисления рейтингов. Что я собственно и сделал - см. картинку выше. На русском языке claude-opus выигрывает у gpt-4 c вероятностью ~58%. Заметный перевес! @lovesyuk