Computer Use в Copilot Studio - когда агенту наконец разрешили "пользоваться мышкой" Мы уже говорили про агентов, которые отвечают на вопросы, тянут данные и даже “договариваются”. А теперь представьте, что ваш агент не только говорит, но и действует: кликает, вводит текст, переключается между окнами. Да-да, совсем как люди (или скорее, RPA-роботы, которые могут делать это 24/7 без перекуров). С функцией Computer Use в Copilot Studio это становится реальностью. Тем более, что он стал доступен в Public Preview! ⁉️ Что это такое и с чем это едят? 🔸 Computer Use в Copilot Studio это возможность агента взаимодействовать с веб-сайтами и настольными приложениями: нажимать кнопки, выбирать меню, вводить текст в поля. 🔸 Всё это возможно, даже если нет API для системы: если человек может работать с приложением - агент может тоже. 🔸 Изменился интерфейс? Кнопка переехала? Агент увидит это и адаптируется, снижая вероятность “сломанных” сценариев. 🔸 Подходит для задач вроде ввода данных, обработки счетов-фактур, сбора информации с сайтов и других вручную выполняемых процессов. 🛠 Как подключить Computer Use к вашему агенту 1️⃣ В вашем агенте в Copilot Studio зайдите в раздел Tools → Add tool → New tool и выберите Computer Use. 2️⃣ Определите, на каком компьютере или браузере будет выполняться задача: можете использовать готовую машину (Hosted browser на базе Windows 365) или свой Windows-компьютер / сервер. Первый вариант подходит для быстрых тестов и экспериментов и не требует настройки, второй - требует чуть больше подготовки, но зато вы полностью контролируете среду и безопасность. 3️⃣ Напишите в поле Instructions: что именно агент должен сделать, например: “Открой приложение X → выбери меню Y → введи данные из таблицы Z”. 🎯 Примеры применения ▪️ Ввод данных из PDF-документов в веб-форму, когда API нет (например, внешняя тендерная площадка). ▪️ Обработка заказов: агент открывает внутреннюю CRM-систему, копирует данные, переходит в 1С и выполняет необходимые операции. ▪️ Сбор данных с публичных сайтов: агент переходит по URL, фильтрует таблицу, копирует результаты в Excel или базу. 📌 Мелкое, но важное замечание ‼️ Функция сейчас в public preview и доступна в U.S.-based средах. ‼️ Нужно, чтобы у агента была включена Generative Orchestrator, иначе инструмент может не работать. ‼️ Инструкции должны быть чёткими: вместо "я хочу, чтобы ты выбрал нужную кнопку" - лучше "нажми кнопку с названием «Отправить» после заполнения полей". 📋 Вывод Computer Use значительно расширяет возможности агентов, позволяя им выполнять операции, до которых не дотянешься через API или коннектор. Количество рутинных операций, которые можно передать агентам кратно возросло. Если нужен шаблон инструкций или помощь с настройкой - напишите нам, обязательно поможем!