Обязательный элемент корпоративной команды ИИ-агентов - feedback loop. В аттаче мой экземпляр правила и плейбук по feedback loop на русском! — — — Одна из самых недооцененных вещей при работе с ИИ-агентами, скиллами, правилами и мета-правилами — это обязательная фиксация правок их рефлексия. Сгенерировал агент текст. Ты его поправил. Переписал абзац. Убрал формулировку. Добавил важное ограничение. Сказал: “слишком размыто”, “не тот тон”, “не учтено вот это”, “здесь вообще ошибка”. Так вот: это не должно остаться локальной правкаой конкретного результата. Это должно быть сигналом о том, что где-то в системе генерации есть дефект. И если ты просто поправил результат и пошел дальше — ты лечишь симптом. Причина остается в том же самом состоянии и в следующий раз проявится аналогично. По сути, без фидбэк-петли(ну не хочу я писать петля обратной связи, в попытке целиком перевести на русский) это вообще мало чем отличается от хренового менеджмента, когда руководитель снова и снова исправляет за нерадивым сотрудником одно и то же: тут формулировку поправил, тут структуру дожал, тут смысл спас, тут убрал лишнюю воду. Один раз — нормально. Десять раз — уже сбой в системе. Сто раз — значит у тебя не масштабируемая модель работы, а ручное латание дыр. С ИИ ровно та же(а вообще даже более явная) история. Если пользователь, редактор или владелец процесса внес правку в результат работы агента, дальше должно происходить следующее: — фиксируется дельта - разница между до и после; — извлекается суть изменения; — определяется, почему это пришлось менять; — проверяется, это ли проблема: конкретного скилла, конкретного правила, мета-правила или вообще архитектуры пайплайна агента; — предлагается необходимое и достаточное изменение в источник проблемы. То есть правка должна вести не только к улучшению артефакта, но и к улучшению механизма его производства. Вот это и есть взрослая работа с агентами. И самое интересное — теперь это можно делать почти сразу автоматически 🤖 Не просто обнаруживать разницу между до и после правок. А запускать обработку этой разницы: выделять, что именно изменилось по смыслу, к какому скилу, правилу или мета-правилу (это я про skill, rule, meta-rule) это относится, какая инструкция была неполной, кривой или двусмысленной, и тут же формировать проект изменения. А дальше — еще лучше: можно сразу, специальным агентом, прогонять проверку, и смотреть даст ли обновленный скилл уже правильный результат на твоем кейсе. То есть не просто “мы поправили ответ”, а мы обновили способ мышления системы и сразу проверили, стало ли лучше. И вот это уже очень близко к настоящему operational leverage. Потому что в этот момент каждая правка начинает работать не один раз, а на все следующие генерации. Именно поэтому feedback loop для ИИ-агентов — это не nice to have. Не опция. Не “потом настроим”. Это обязательный контур, без которого у тебя не агентная система, а просто очень эффективный конвейер воспроизводимых ошибок. Если строишь агентную команду всерьез — правка результата обязана поднимать вопрос: что именно надо изменить в правилах, чтобы это не пришлось править снова? Иначе вы не обучаете систему. Вы просто бесконечно подчищаете за ней руками. А это тупик. Зрелость AI-системы измеряется не тем, как красиво она пишет с первого раза, а тем, насколько хорошо она умеет превращать свои ошибки в улучшение собственного способа работы. — #skill #rule #agentic Пишу про ИИ-агентов для корпоративного сегмента: Робокорп by Сэм Якушев