Меры защиты информационных систем с ИИ #иб_для_ml Появился проект нового методического документа, который будет дополнять требования приказа №117 ФСТЭК России. Он называется "Мероприятия и меры по защите информации, содержащейся в информационных системах". Скорее всего, затронет очень многие организации, так как имеет довольно широкое описание субъектов, подпадающих под требования: "для обладателей информации, заказчиков, заключивших гос. контракт на создание ИС, ..." (пункт 1.4). Также, судя по документу, это будет снова для аттестации ИС на соответствие требованиям по защите информации. Напрямую кибербезопасности ИИ касаются разделы 3.17 (мероприятия) и 4.18 (меры). Самая суть в 4.18. В число обязательных мер входит много классических мер КБ, входит отказ от небезопасных форматов файлов (как pickle), проведение анализа уязвимостей входных (то есть базовых) моделей ИИ. Состязательное обучение и редтиминг являются дополнительными мерами (мерами усиления). Применение гардрейлов и регистрация событий инцидентов КБ GenAI являются обязательными мерами при эксплуатации ИИ. Я подготовил для вас краткую выжимку по части КБ ИИ, текстом и схемой. Первое, что интересно отметить - в разделе 3.11 указано, что в качестве дополнительных мероприятий возможно использование доверенных технологий искусственного интеллекта для анализа событий КБ, логов и их цепочек. Раздел "3.17. Обеспечение защиты информации при использовании ИИ" является введением для 4.18, описывая роли, на которых распространяются требования документа, и объекты применения требований, а также дает ссылку на угрозы информационной безопасности, описанные в разделе БДУ, посвященном ИИ. Указано, что при разработке ИИ необходимо соблюдать требования ГОСТ РБПО (56939) Раздел 4.18 "Защита систем ИИ (ЗИИ)" содержит два комплекса мер безопасности по защите ИИ: ЗИИ.1 "Обеспечение безопасной разработки системы искусственного интеллекта" и ЗИИ.2 "Защита системы искусственного интеллекта в ходе эксплуатации". Меры необходимы для обеспечения всех классов защищенности (К3, К2, К1). 🚪Объектами ЗИИ.1 являются инфраструктура и ПО разработки системы ИИ (под ней понимается подготовка наборов обучающих данных, обучение и тестирование моделей машинного обучения - далее МО), ПО разработки API, агентов, системы цензуры (фильтрации входных и выходных данных), входная модель МО, наборы обучающих данных; выходная модель МО. ➖Основные установленные ЗИИ.1 меры: 🔘выделение инфраструктуры разработки системы ИИ от иной инфраструктуры разработчика в изолированный сегмент 🔘отказ от небезопасных форматов файлов (pickle) и применение безопасных (onnx, protobuf) 🔘в приоритетном порядке должны применяться наборы данных из доверенных источников (например, от гос. органов) 🔘проверка данных с помощью антивируса 🔘для входной модели ИИ необходимо проводить анализ уязвимостей. В отношении выявленных у модели уязвимостей необходимо предпринять меры их нейтрализации. ➖Основные меры усиления из ЗИИ.1: 🔘физическая изоляция среды разработки системы ИИ 🔘хранение данных обучения в зашифрованном виде 🔘состязательное обучение 🔘внедрение механизмов ограничения допустимых диапазонов данных, санитизации входных данных 🔘должно быть реализовано тестирование на устойчивость к промпт-атакам 🚪Объектами ЗИИ.2 являются ПО реализации технологии ИИ (модели ИИ), API, агентов, систем цензуры, обученная модель МО и ее расширения (LoRA, RAG и др.), используемая для эксплуатации инфраструктура вне оператора ИИ ➖Основные установленные ЗИИ.2 меры: 🔘фильтрация входных и выходных данных (гардрейлы) 🔘обеспечение регистрации событий безопасности, связанных с запросами и ответами к системе искусственного интеллекта 🔘мониторинг и квотирование количества запросов к системе искусственного интеллекта 🔘проведение анализа уязвимостей и принятие мер по их устранению, осуществляемое оператором совместно с разработчиком систем ИИ ➖Основные меры усиления из ЗИИ.2: 🔘выделение системы ИИ в отдельной изолированный сегмент 🔘обеспечение целостност