ARC-AGI-3: люди справляются на 100%, ИИ — меньше чем на 1% Новый бенчмарк ARC-AGI-3 от Франсуа Шоле: люди проходят все мини-игры без правил с результатом 100%, лучший ИИ-агент набирает 2,78%, большинство — ровно 0%. Тест не объясняет правил: нужно самому понять цель, освоить управление и пройти уровень. Методологию уже критикуют: эталон — не средний человек, а один из лучших; эффективность считается по квадрату (прошёл за 100 ходов вместо 10 = 1% балла); ИИ даже не сообщают, что управление нужно найти самостоятельно. Шоле говорит, что именно так и должно работать измерение интеллекта. 🔗 Читать: https://mltimes.ai/arc-agi-3-lyudi-spravlyayutsya-na-100-ii-menshe-chem-na-1/