Недавно думал, как может выглядеть действительно нормальное внедрение AI в работе компании и кажется что тут напрашивается целая команда AIOps, которая этим должна заниматься на постоянной основе, в список обязанностей которой должно входить: 1. Выработка единой модели-стандарта использования моделей и агентов в компании, куда входит: - определение точного списка моделей по ролям-скилам в компании - определение списка моделей-ролей для конкретных продуктов и команд в компании - определение списка поддерживаемых инструментов - агентов, IDE (или плагинов для IDE) - определение списка пресетов для моделей для разного рода технических специалистов - пайплайны для обновления скилов/пресетов у инженеров 2. Мониторинг использования: - дашборды с задачами, утилизацией моделей, бюджетом токенов и тд. Алертинг там где это необходимо - мониторинг доступности моделей (особенно внешних) - мониторинг эффективности - какие модели более, а какие менее эффективны и для каких задач (тут можно внедрить инструменты на этапе код ревью генерированного кода и сбор ОС от инженеров) - мониторинг всех запросов (в том числе мониторинг использования моделей не по назначению или без соблюдения принятых практик или использование сторонних моделей, не принятых в компании в п.1) 3. Сопровождение: - наблюдение за тем, чтобы сохранялся уровень эффективности и не было деградации, тюнинг скилов/пресетов, а если необходимо, то и моделей (в случае использования локальных) - бенчмаркинг новых моделей и создание ворклоада для этого бенчмаркинга, выявление ключевых параметров и сравнение моделей по ним - оценка финансовой эффективности (тарифы моделей и их потребление) - обработка запросов от "внешних заказчиков" - добавление новых скилов/пресетов, изменение старых - маркетплейс промптов с удобным поиском - работа по внедрению практик для команд - презентация решений, удобный шэринг практик, консультации по использованию вот такой получился список, придуманный за чашкой кофе, но, кажется, это прямо необходимый минимум, без которого в компании будет в лучшем случае локальный "вайбкодинг", при котором коллеги говнят друг друга за слоп и плодят энтропию. #орижиналконтент