🤖 Применение языковых моделей для анализа данных киберразведки Мы же хотим всё автоматизировать, чтобы не утонуть в потоках данных и индикаторов компрометации? Конечно хотим! Но делать это с помощью больших языковых моделей (LLM) без дополнительных инструментов и трюков крайне сложно. Модель уверенно изобретёт индикатор компрометации (IoC), пометит его как «проверенный», припишет другой группировке, сошлётся на несуществующие первоисточники и станет себе противоречить при повторном запросе. Разумеется, проблемы возникают не каждый раз, и не все сразу, но все они реальны. Авторы этого исследования решили проверить разные модели на надёжность при анализе угроз (TI), и построили синтетический тест на основе изобильно доступных данных по группировке Lockbit, прогнав его через 10 популярных LLM (в основном в обёртке стандартных чатботов в их бесплатной версии). Наиболее частой проблемой становятся галлюцинации IoC и отказ выполнить запрос, фальшивые ссылки (похожие, но неверные профили в соцсети X/Twitter, несуществующие ссылки на сервисе VirusTotal), а также несуществующие факты (авторы называют это LLM poisoning), когда модель подтверждает данные, выданные ей в запросе, хотя на самом деле фактических подтверждений не существует. Реже всего в тесте галлюцинировали нейросети Grok и Perplexity, а вот Claude не стали рассматривать. В статье много забавных примеров и скриншотов, но общая картина ясна из сводной таблицы. Выводы в целом очевидны — применение LLM для киберразведки требует фундаментальной подготовки данных и сложного процесса верификации ответов модели. Решить эту задачу на голых LLM, тем более «бытовых» и натренированных на непроверенных данных будет исключительно сложно, если вообще возможно. #AI @П2Т