Новый инцидент, связанный с утечкой данных из AI-ассистента консалтинговой компании McKinsey. Исследователи из CodeWall во время red teaming-упражнений протестировали чат-бота для сотрудников и консультантов компании, который имел доступ к данным клиентов и другим конфиденциальным перепискам. Агент-хакер CodeWall обнаружил незащищенные API-эндпоинты приложения и подобрал SQL-инъекцию, которая дала доступ к продакшен базе данных. Случай для безопасности веб-приложений довольно обычный, но есть и интересные особенности. Далее исследователи обнаружили, что система хранит системные инструкции в той же самой базе данных. Поменяв промпты в БД, они тем самым убрали guardrails и смогли вытащить дополнительные данные из RAG-системы. Не стоит хранить системные инструкции в той же базе данных, которая подключена к вашим открытым API :) Тестирование прошло в конце февраля, 1 марта команда McKinsey получила уведомление, и уже на следующий день уязвимости были закрыты. С момента атаки до публичного релиза статьи прошло меньше недели, что, конечно, поразительно. Молодцы и в McKinsey, и в CodeWall.