Ф
Фарма в цифре
@digital4pharma149 подп.
203просмотров
5 февраля 2026 г.
📷 ФотоScore: 223
Наткнулся на полезный материал на Habr про регуляторные документы РФ по безопасности ИИ и то, как в целом складывается каркас требований к GenAI (LLM-ассистенты, чат-боты, RAG, агентные системы) Если совсем простым языком, статья про то, что ИИ теперь всё чаще рассматривают как отдельный контур, который нужно описывать и защищать не хуже любой ИТ-системы. И речь не про абстрактную этик”, а про практику. Что там по сути: 🧠 ИИ это не только модель. Важно учитывать данные, которые он получает, настройки и промпты, источники знаний (например RAG), логи диалогов и всё, что влияет на ответы. 🔐 Критично, кто может менять поведение ИИ. В статье отдельно подчеркивается важность контроля изменений: промптов, конфигураций, источников данных. “Немного поправили подсказку” иногда по эффекту равняется изменению бизнес-логики. 📦 Появляются новые типы данных, о которых раньше не думали. Контекст, чанки, эмбеддинги, память агента, журналы диалогов. Это и потенциальные утечки, и возможность подмены/влияния. 🧪 Проверка защищённости не сводится к jailbreak-трюкам. Подход шире: аудит, тестирование устойчивости, контроль уязвимостей окружения, управление доступами, журналирование. 🤖 Агентные системы рискованнее. Потому что агент может не только отвечать, но и выполнять действия через API и интеграции, а значит нужны дополнительные ограничения и контроль. В целом статья хороша тем, что нормальным человеческим языком объясняет: если ИИ у вас уже встроен в процессы, его нужно воспринимать как систему с особой моделью угроз, а не как удобный чатик для сотрудников.
203
просмотров
1641
символов
Да
эмодзи
Да
медиа

Другие посты @digital4pharma

Все посты канала →
Наткнулся на полезный материал на Habr про регуляторные — @digital4pharma | PostSniper