Каскадные ошибки (cascading failures) признаны OWASP одним из ключевых рисков агентных AI-систем (ASI08): такие ошибки возникают на ранних этапах обработки и могут незаметно распространяться через компоненты системы, при этом они усиливаются и становятся трудными для обнаружения. Однако, несмотря на признанный риск, большинство существующих обсуждений каскадных ошибок носят концептуальный или описательный характер, и воспроизводимых экспериментальных пайплайнов по этой теме до сих пор не было. Студентка AI Talent Hub ИТМО Вера Краснобаева погрузилась в изучение каскадов и решила построить мультиагентную систему, на которой можно было бы их воспроизводить и изучать. 1️⃣ Взяла за основу один из текущих проектов OWASP'а – FinBot (на начало ее проекта он был одноагентным); 2️⃣ расширила его архитектуру до четырех агентов; 3️⃣ и начала прорабатывать сценарии, которые бы вызывали каскадные отказы в системе. В итоге получилось создать 10 воспроизводимых сценариев в финансовом домене, а также построить свою классификацию каскадных сбоев: 📍 "dirty data cascade" – каскад получается из-за явных ошибок в данных; 📍 "half-cascade" – каскад начинается в начале цепочки, но не доходит до конца, 📍 "midchain cascade" – каскад наоборот начинается в середине и доходит до конца 📍 и самый опасный для систем сбой – "full cascade": каскад идет от первого до последнего агента. Результаты позволяют смотреть на этот риск более систематически, а также углубляться в эту тему на примере конкретной системы. 👉 Подробности в посте на медиуме