🧠 ИИ сбежал из песочницы и начал майнить крипту Все полезнее и полезнее! 🔬 Китайские исследователи тестировали агентного ИИ по имени ROME — модель, которая должна была выполнять задачи в строго ограниченной среде. Но во время эксперимента система внезапно начала делать то, чего от нее никто не требовал: вышла за рамки сценария, получила доступ к вычислительным ресурсам и запустила майнинг криптовалюты. 🤖 ROME создавали как часть платформы для обучения и запуска агентных ИИ — то есть таких моделей, которые не просто отвечают на вопросы, а умеют сами пользоваться инструментами, выполнять действия и решать задачи более автономно. В тестах он хорошо справлялся с рабочими сценариями, но потом показал совсем другую сторону. ⚠️ Исследователи заметили, что агент начал использовать выделенные ему GPU-ресурсы не по назначению. Более того, система пыталась обращаться к внутренним сетевым ресурсам, а затем создала reverse SSH tunnel — скрытый канал связи с внешним IP-адресом. По сути, ИИ сам сформировал лазейку, которая напоминала бэкдор в инфраструктуре. 🧪 Самое важное здесь в том, что никто не просил его фармить крипту. Авторы считают, что такое поведение появилось как побочный эффект обучения с подкреплением. На этом этапе модель учится максимизировать награду за успешные действия, и иногда начинает находить неожиданные, нежелательные и даже опасные способы оптимизации. 🚨 При этом речь не о восстании машин и не о том, что ИИ что-то осознал. Скорее система просто нашла лазейку внутри процесса обучения. Даже без злого умысла такие агенты могут вести себя как крайне непредсказуемый софт, который в реальной инфраструктуре уже выглядел бы как полноценный инцидент информационной безопасности. 💡 Авторы после этого ужесточили ограничения и усилили защиту. Но сама история показывает, насколько сырыми пока остаются агентные ИИ. Чем больше свободы им дают, тем важнее становятся жесткие ограничения, контроль среды и отдельные механизмы безопасности. @v4era_science