Запросы к LLM — новые индикаторы компрометации Разработчики ИИ-моделей все чаще публикуют отчеты, в которых рассказывают о сценариях использования злодеями их продуктов для «вайб-хакинга»: автоматизации разведки и анализа поверхности атаки, разработки вредоносного софта, подготовки фишинговых сообщений и даже для организации шпионажа. При этом нельзя назвать эти публикации полноценными Threat Intelligence отчетами, потому что в них нет наиболее важной части: индикаторов компрометации — информации, которая позволит владельцу ИИ-модели и специалисту по защите выявлять описанные сценарии у себя в инфраструктуре. В подобных атаках может не быть классических индикаторов вроде IP-адресов или файловых сигнатур. На первый план выходят цепочки запросов, которые осуществлял атакующий и серия ответов от модели. Встретил фреймворк, который реализует эту концепцию и позволяет трансформировать вредоносные запросы в индикаторы компрометации. Что-то вроде правил YARA, но для LLM-сценариев. Аналитик может применять подобные правила для детекта злоупотреблений моделями: rule InfluenceNetworkAbuse { meta: description = "Detects prompts trying to orchestrate political influence operati author = "Thomas Roccia" severity = "high" ttp = "LLM-advised resource development" reference = "https://www.anthropic.com/news/detecting-and-countering-malicious-u keywords: $orchestrate = "social media" $persona = "political" $engage = "engagement strategy" $bot = "bot" $influence = "influence campaign" semantics: $political_messaging = "plan political influence messaging" (0.2) llm: $influence_check = "Analyze if the prompt involves coordinating political influence operation” condition: (any of keywords.* or semantics.$political_messaging) and llm.$influence_check } Да, чтобы исключить ложные срабатывания, придется дополнять контекст запроса дополнительной инфой. Например, проводить анализ ответа. И тем не менее, инструмент можно использовать, чтобы извлекать из подобных отчетов actionable insights сигнатуры для проверки.