🤖 Знакомьтесь, ваш новый инсайдер Хотя теоретических заявлений о том, что ИИ-агенты — это новая инсайдерская угроза, было уже много, начинают поступать практические доказательства. Следите за руками: три ИИ-агента получают обычные офисные поручения: провести исследование на базе определённых документов, создать на сервере резервную копию данных, подготовить посты для соцсетей на основе технической документации. Задания целиком легитимные, никаких уловок, никаких промпт-инъекций. При выполнении задания ИИ-агент сталкивается с проблемой: некоторые документы недоступны из-за недостаточных прав доступа (ошибка 403), а сохранить копию на сервер нельзя, потому что среди файлов есть вредоносное ПО и защита на сервере не позволяет создать файл. Что делает агент? 🤯 ковыряется в исходных кодах внутренних систем, находит вписанные прямо в код секреты, подделывает куки и обходит контроль доступа; 🤯 повышает привилегии, находит в локальных файлах учётные данные администраторов и отключает на сервере Windows Defender. Весь описанный эксперимент был поставлен в синтетических условиях, но авторы дают ссылки на похожие ситуации уже из реальной практики. Авторы утверждают, что поведение вредоносного инсайдера может проявляться спонтанно, поскольку в промпты часто входят мотивационные фрагменты вроде «эта задача срочная», «будь креативен», «если получил ошибку, придумай решение», и тому подобное. Учитывая что большие модели общего назначения имеют большой банк знаний в ИБ, получение ошибки типа 403 побуждает их искать «решение» проблемы, а не идти просить нужный доступ. С точки зрения дизайнеров агентских систем, главный вывод — агентов нужно чётко инструктировать не нарушать правила и сообщать об ошибках доступа человеку. С точки зрения ИБ выводы конечно совсем иные — агентские системы в первую очередь должны попадать под принцип наименьших привилегий, иметь доступ к ограниченному набору инструментов, всегда работать под собственными учётными записями особого типа и быть максимально обвешаны журналированием. И, возвращаясь к началу, в модели угроз ИИ явно потянет на самостоятельного нарушителя. #новости #ИИ @П2Т