Одна из проблем больших языковых моделей заключается в том, что они склонны давать ответ даже тогда, когда честнее было бы сказать «я не знаю». Но, в-первых, такой ответ пользователей не впечатлил бы, и, во-вторых, технологически это не совсем тривиальная задачи. Питер Гостев, AI Capability Lead в Arena.ai (платформа для сравнения ИИ-моделей) создал «Bullshit Benchmark», чтобы тестировать склонность моделей отвечать даже на явно бессмысленные вопросы. Меньше всего разочаровал Claude. #ai