Безопасность ИИ-систем сегодня выходит на первый план, так как они получают все больше доступа к данным и процессам компаний. Разберем подробнее, что скрывается за вариантами ответов нашей викторины: ▫️ Инъекция промпта (Prompt Injection) — одна из самых распространенных угроз для языковых моделей. Злоумышленник манипулирует выводом ИИ путем добавления инструкций в вводимые данные, которые заставляют модель игнорировать системные фильтры, выдавать конфиденциальные данные или выполнять команды. ▫️ Отравление данных (Data Poisoning) — атака на этапе обучения или дообучения модели. Хакер подмешивает в датасет специальным образом искаженную информацию, чтобы создать в «логике» ИИ скрытую лазейку (бэкдор), которая сработает в будущем. ▫️ Адверсальные атаки (Adversarial) — метод обмана систем распознавания образов или звука. Путем внесения минимальных, незаметных для человека изменений во входные данные хакер заставляет систему принять ложное решение. Примером данной атаки является внедрение малозаметного белого шума в аудиозапись с командой для голосового помощника. Ассистент может принять такую аудиозапись за голос легитимного пользователя и выполнить команды. ▫️ Атака на цепочку поставок: использование уязвимостей в сторонних библиотеках или предобученных моделях, которые разработчики скачивают из открытых репозиториев без проверки. Для обеспечения надежной работы интеллектуальных систем эксперты Kept рекомендуют обеспечивать и соблюдать следующие меры защиты: ▫️ Изоляция и контроль привилегий: ИИ-агенты не должны иметь избыточных прав, например, на удаление данных или отправку писем без подтверждения человеком. ▫️ Фильтрация ввода и вывода: внедрение промежуточных моделей-контролеров, которые проверяют запросы пользователей и ответы ИИ на наличие вредоносных инструкций. ▫️ Проверка целостности данных: для верификации используемых датасетов следует использовать определенные алгоритмы для выявления аномального поведения моделей. ▫️ Регулярный пентест ИИ: проведение специализированных тестов на проникновение, ориентированных на специфические уязвимости нейросетей, например, по методике OWASP Top 10 для LLM. #Викторины