Flash Crash: в 2010 году за 36 минут с американского фондового рынка исчез триллион долларов из-за неконтролируемых торговых алгоритмов. Представьте: за полчаса исчезает триллион долларов. Причина? ИИ без человеческого контроля. Если вы не замечали, ИИ уже давно в повседневной жизни: термостаты, роботы Roomba, антивирусные программы. Это - узкие задачи. Сейчас у ИИ агентов шире спектр задач. Автоматизация административных задач, управление финансами, ведение социальных сетей, совершение покупок, планирование и т.д. Они уже действуют в реальном мире; и часто без надзора. Это и круто, и очень опасно. Агент, который управляет соцсетями, может избавить нас от рутины, но способен и распространять ложную информацию или оскорбления. Агент, у которого есть доступ к вашему банковскому счёту, может помочь управлять бюджетом, но может и потратить все деньги или передать информацию хакеру. Есть ИИ-системы, которые известны «взломом награды» (reward hacking). Это когда они ломают систему - выбирают неожиданные, а порой и вредные действия для достижения успеха. Так в 2016 году OpenAI пыталась обучить агента выиграть в игре с гонками на катерах. Вместо того чтобы проходить гонку быстрее, агент нашёл способ бесконечно набирать очки, кружась на одном участке трассы. В другом случае агента Operator попросили заказать в магазине яйца. Агент купил их, но далеко не того качества и ценовой категории, которую ожидал пользователь. Почему? - Оптимизация заказа по другому критерию. Вчера дала сбой автоматизация, которая работала уже целый год без проблем. Просто столбец с названиями проектов остался пустым и партнеры получили неполную информацию. Произошло это после старта ChatGPT-5. Пришлось поправлять. Все это показывает, что LLM всё ещё сложно обучить следованию нормам, которые люди понимают интуитивно. От защиты личной информации до корректного выполнения заданий. Ученые и практики подчеркивают необходимость безопасного и надёжного проектирования до того, прежде чем предоставлять агентам автономию в решении сложных задач. Поэтому мы (ABM expert) топим за то, чтобы в работу ИИ всегда был включён человек. Сертифицированный специалист, который сочетает скорость алгоритмов с человеческим суждением, эмпатией и соблюдением норм. Такие операторы выстраивают защитные рамки и правила. Тогда система не может действовать во вред. Защитите свой бизнес от ИИ-рисков. Записывайтесь на курс, который стартует 1 октября. Мы полностью автоматизируем все ваши ABM-процессы, сократим затраты ресурсов на 70%. И это без потери контроля над процессами.