Как измерять риски кибербезопасности в сфере ИИ? Новый подход от исследователей из UC Berkeley В январе вышла статья Toward Risk Thresholds for AI-Enabled Cyber Threats от Center for Long-Term Cybersecurity в UC Berkeley. В исследовании авторы фокусируются на разработке методологии измерения и операционализации пороговых значений для рисков кибербезопасности в сфере ИИ. Первоначально коллектив обратился к фреймворкам по ИИ-безопасности ключевых компаний (Anthropic, OpenAI, Google DeepMind, Amazon, Microsoft и др.) и выявил присущие им недостатки (непосредственное сравнение порогов можно увидеть на скриншотах): • чрезмерная фокусировка на новых катастрофических рисках, связанных с передовыми способностями ИИ-моделей. Это приводит к тому, что внимание переключается от решения насущных проблем безопасности к потенциальным, которые зачастую являются крайне маловероятными на текущем уровне технологического развития; • в текущем виде пороговые значения часто определяются в качестве детерминированных ответов «да/нет» вместо вероятностных значений. Это затрудняет точную количественную оценку риска или динамическое обновление пороговых значений по мере появления новых данных; • многие существующие пороговые значения опираются на неоднозначную терминологию, такую как «значимый», «существенный», «важный» и «разумный», без предоставления чётких определений данных значений. Эта неопределённость приводит к субъективной интерпретации, затрудняя определение и соблюдение пороговых значений; • зачастую фреймворки сравнивают показатели передовых моделей с моделями предыдущего поколения, которые признаны безопасными, а не с человеческими базовыми показателями или не-ИИ базовыми линиями. Это может привести к нормализации недопустимых рисков при постоянно плавающих показателях оценки; • определение многих пороговых значений происходит только на основе способностей самих моделей без привязки к окружающей среде. Например, есть существенная разница, взаимодействует ли с системой новичок или опытный специалист. Для решения данной проблемы авторы предлагают использовать байесовские сети в качестве инструмента для моделирования рисков кибербезопасности в сфере ИИ, что позволит интегрировать разнородные данные и постоянно обновлять информацию по мере появления новых сведений. Такой подход позволяет отслеживать, какие факторы больше всего влияют на риск, и моделировать различные сценарии развития угроз. В качестве примера исследователи в статье разбирают юзкейс использования социальной инженерии, а именно фишинговых атак.