🧠 Кейс: Нейро-помощник для анализа звонков. Как мы из «тонн аудио» сделали работающую AI-систему По заказу компании "ГИПЕР" я участвовал в проекте по созданию AI-системы, которая должна была анализировать все звонки колл-центра, а не только небольшую выборку, как раньше. По -простому полный контроль качества звонков, которых куча тысяч) Раньше QA-специалисты вручную слушали часть звонков — долго, субъективно, и реальную картину это давало с трудом. Мы решили построить единый аналитический конвейер: от аудио до готовой управленческой аналитики. ❗️ И да — с полной анонимизацией ПДн по 152 ФЗ и «правильной» архитектурой, чтобы всё было не только красиво на слайдах, но и работало. Главные сложности были очень приземлённые: 📞 тысячи звонков → слушают десятки. Остальное теряется. 🕵️ поиск проблем — лотерея. «Найди мне звонок, где клиент недоволен доставкой» — и здравствуй, перемотка на полдня. 🔐 каждый звонок = персональные данные. Любая ошибка — риск. 🎙 качество записи разное. Шумы, перебивания, фоном орёт ребёнок — всё как в жизни. Цель была простой и сложной одновременно: дать бизнесу полную картину, а не догадки. ⚙️ Решение — и вот тут важна архитектура Чтобы это заработало, мы с коллегами построили последовательный пайплайн, где каждый шаг подготавливает данные для следующего. Это не набор разрозненных модулей — это именно цепочка. Давайте по порядку 👇 🔊 1️⃣ Аудио → текст Сначала мы берём аудио-запись звонка и пропускаем её через WhisperX. Причём по отдельности для оператора и клиента — это критично, иначе реплики путаются. Параллельно происходит нормализация звука: громкость → шум → фильтры → таймкоды. Факт: точность вышла около 85%. Цель была 95%, но качество записей — реальность. 🔐 2️⃣ Текст → обезличенный текст Тут в дело вступает анонимизация ПДн. Решение — гибридное: - сначала правила и шаблоны (телефон, адреса, номера документов), - а затем — локальный ИИ-анализ сложных случаев. Почему так? Потому что люди говорят не по справочнику: «рядом с Лентой на Трактовой» — тоже адрес. ❗️Важно: данные не покидают внутренний контур. 📋 3️⃣ Текст → контроль качества Следующий слой — ИИ-оценка соблюдения скриптов. Система понимает тип звонка и проверяет его по 10 критериям. И не просто ставит баллы — она прикладывает цитаты из диалога. Это убирает субъективщину: есть нарушение → есть доказательство. 🔍 4️⃣ Архитектура поиска — моя ключевая зона. Бизнесу важно не просто хранить тексты, а быстро находить нужные фрагменты по смыслу. Мы построили гибридный поисковый движок: 🧠 семантический поиск (эмбеддинги E5) ищет «по смыслу», даже если фраза переформулирована 📚 BM25 ищет «по словам», классически и быстро Затем результаты объединяются и ранжируются по нескольким метрикам . Например, приходит РОП, садится за комп и пишет, покажи мне диалоги, где клиенты грубили... И готово: система находит такие диалоги. Мы много раз проверяли: если пользователь вводит «клиент недоволен доставкой» — система должна реально найти эпизоды недовольства, а не просто совпадение слова «доставка». Отклик системы — меньше 2 секунд. 5️⃣ Аналитика и эмоции Параллельно работает эмоциональный анализ — он определяет, кто и на каком этапе был напряжён или раздражён. Потом всё это попадает в дашборды и отчёты. Это не просто таблицы — это управленческая картина. 📊Что изменилось на практике? 💬 анализируется 100% звонков, а не выборка ⚡️ поиск работает за секунды 🧾 нарушения скрипта видны 🔐 РОП видит, кто лучше/хуже всех работает 📉 нагрузка на QA упала в разы Да, распознавание речи пока держится на ~85%, но теперь понятно — в чём причина и как улучшать записи. 🧠 Главный урок проекта — архитектура — это не «как-то подключить модель», а способ думать. Если коротко: данные → чистка → анонимизация → анализ → поиск → аналитика. И только так это работает стабильно. 👇 Есть вопросы по проекту-пишите в комментариях! Нужно внедрить нейросети в бизнес, пишите сюда.