🫥 Лучшая AI-модель на 13% хуже людей распознает сгенерированные ASMR-видео Исследователи из Oxford, NUS и CUHK представили Video Reality Test — первый бенчмарк для тестирования способности VLM отличать настоящие ASMR-видео от сгенерированных. Одновременно проверялась способность моделей генерировать фейки. До реального понимания достоверности и создания неотличимого от реальности контента моделям еще далеко. 11 моделей анализировали 149 популярных ASMR-видео с Youtube и их вариации, которые создали 7 видео-генераторов. Video Reality Test выявил три критические проблемы современных VLM: они излишне полагаются на водяные знаки, систематически склонны классифицировать большинство видео как настоящие, и плохо используют несоответствия между звуком и изображением для детекции фейков. Люди показали лучший результат, правильно распознав как фейки 89.11% видео. Топ-3 детекторов (VLM) - Gemini-3-Pro — 76.27% точности; - GPT-5 — 67.14% точности, но зависим от водяных знаков; - Gemini-2.5-Pro — 67.34% точности, с аудио 68.44%. Топ-3 генераторов (VGM) по реалистичности - Veo3.1-Fast — только 12.54% видео от этой модели другие модели распознали как фейки; - HunyuanVideo-I2V — 14.77%; - Wan2.2-A14B — 16.10% (лучшая опенсорс-модель). Qwen3-VL-30B на 12 месте с точностью 54.87% — на уровне случайного угадывания (50%). GPT-5 показал 95.43% точности на видео Sora2 с водяным знаком, но после его удаления рухнул до 53.4%. Gemini-2.5-Pro аналогично: с 84.5% до 56.0%. Модели используют водяные знаки как прямое указание вместо анализа качества видео. Код и примеры доступны на Github проекта. #Benchmark