AI Security Lab

24 марта мы провели вебинар на тему AI-пентеста / редтиминга ИИ-систем Обсудили: 👉Что такое AI-пентест / редтиминг ИИ-систем 👉Почему растет рынок ИИ-пентеста 👉Как делать проекты 👉Как на этом заработать интегратору Показали в действии Enterprise-версию нашего фреймворка для автоматизированного тестирования ИИ-систем HiveTrace Red. Материалы вебинара: Презентация | VK Video | YouTube Если вы хотите войти на рынок ИИ-пентеста, пройти обучение от HiveTrace и получить бесплатно инструмент автомат...

Проведение научных экспериментов с разными моделями требует вычислительных ресурсов и большого количества токенов. Команда AI Security Lab благодарит vsellm.ru за предоставленный грант на доступ к API и популярным моделям. Эта поддержка позволит нам завершить текущие исследования и ускорить подготовку научных публикаций. Спасибо! 💛 Если вы подбираете провайдера с доступом к большому числу моделей и хорошими ценами регистрируйтесь по нашей реферальной ссылке и получите больше токенов за первое п...

В свежей статье на Хабре магистрант из AI Security Lab Маргарита Пузырева рассматривает гардрейлы от OpenAI. Ее тестирование выявило ряд проблем. ⚡️ Ложные срабатывания. Детектор PERSON воспринимает имена литературных персонажей как персональные данные. В тестах на вопросах о книге «451 градус по Фаренгейту» PII-гардрейл срабатывал в 28% случаев без реальных ПД. ⚡️ Нестабильное распознавание русских ФИО: в 40% случаев детектор PII не срабатывал на русские ФИО. ⚡️ Ошибки в определении паспортных ...

Каскадные ошибки (cascading failures) признаны OWASP одним из ключевых рисков агентных AI-систем (ASI08): такие ошибки возникают на ранних этапах обработки и могут незаметно распространяться через компоненты системы, при этом они усиливаются и становятся трудными для обнаружения. Однако, несмотря на признанный риск, большинство существующих обсуждений каскадных ошибок носят концептуальный или описательный характер, и воспроизводимых экспериментальных пайплайнов по этой теме до сих пор не было. С...

DevSecOps Assessment Framework для ML от "Инфосистемы Джет" 🔍 Что это и зачем это нужно? Недавно команда "Инфосистемы Джет" выпустила DevSecOps Assessment Framework для ML. Это подробная модель зрелости процессов безопасной разработки систем искусственного интеллекта. В ней структурированный чек-лист/дорожная карта, которая помогает понять, на каком уровне находится ваша организация в части MLSecOps: от базового контроля зависимостей до продвинутой защиты от специфических угроз ИИ. 🛡 Основные ...

ИИ стал главным каналом утечки данных – что делать CISO На портале CISO Club вышла наша совместная с “Инфосистемы Джет” статья о том, как генеративные ИИ-сервисы меняют ландшафт утечек корпоративных данных. • 45% сотрудников крупных компаний уже используют GenAI в работе, и в 2025 году ИИ называют каналом утечек данных №1 • большинство утечек происходят не через файлы, а через обычный copy-paste из буфера обмена • классические DLP-системы этот поток не контролируют • перед CISO появляется новая ...

Yappi Days. Эффективность и безопасность GenAI: код и редтиминг на практике Генеративный ИИ ускоряет разработку, но создает новые риски. Как внедрять AI-инструменты, не жертвуя безопасностью и качеством? Разберем на реальных кейсах: от тестирования моделей на уязвимости до построения надежных AI-агентов. Обсудим это на последнем митапе 2025 в Ярославле. ‼️ Регистрируйтесь – ведь вход бесплатный, а количество мест ограничено! https://vk.cc/cScPPa

В корпоративных ИИ-ассистентах сегодня скрыто куда больше угроз, чем кажется на первый взгляд. На портале CISO Club вышла статья нашего коллеги Ивана Василенко, где эти риски разобраны по полочкам и показано, почему безопасность ИИ становится критично важной компетенцией для бизнеса. Рекомендуем к прочтению всем, кто внедряет GenAI и хочет избежать неприятных сюрпризов.

🆕 Реальные кейсы по безопасности LLM: AI Security Meetup уже на YouTube ➡️ На AI Security Meetup LLAMATOR x Selectel в Питере разобрали то, о чём редко говорят в туториалах: атаки на LLM, промпт-инъекции, джейлбрейки, редтиминг, on-prem решения и безопасность агентных систем. Не смог присоединиться? Лови запись всех докладов митапа: от развёртывания собственной LLM до тестирования агентов, чтобы они не вышли из-под контроля. 📹 СМОТРЕТЬ Бонус: Игра защищ[АI] — обойди защиту ИИ, если сможешь 😏 ...

AI Security Meetup LLAMATOR x Selectel — перемещаемся из Еревана в Петербург✈️ Следующий чекпоинт митапов по AI Security — Питер: 12 декабря продолжим разбирать уязвимости ИИ уже в офисе Selectel. Лайн-ап👇 🎙Владислав Попов, магистрант AI Talent Hub, Data Scientist, Точка Банк От ChatGPT к своей LLM: как развернуть решение и не наломать дров? ➡️ Пустил ChatGPT в контур? А как насчет того, чтобы развернуть собственное решение, которое не будет сливать данные? Разбираем полный цикл: критерии выбо...