Как оценивать, выбирать и закупать юртех-продукты на базе генеративного ИИ В юртехе (применение технологий в праве) полезно не застревать на слове «галлюцинации». Если вы видите дискурс, ограниченный этим уровнем, вы застряли в 2022 году. А мы уже в 2026, неожиданно. Проблематика сейчас гораздо шире, в частности проблема с генеративным ИИ в его надёжности (reliability), а не только в «средней точности по бенчмарку Х». В этом смысле очень вовремя вышла новая работа про 4 измерения надёжности ИИ-агентов. Её главный тезис мне кажется особенно полезным для пользователей и разработчиков юртех-продуктов: высокий балл точности (accuracy) ИИ-системы ещё не означает, что её можно безопасно и предсказуемо встраивать в юридический процесс. Что это за 4 измерения (в сильно упрощённом виде): Consistency (согласованность / повторяемость) Одна и та же задача при одинаковых условиях должна давать сопоставимый результат. Для ГенИИ это больное место: ответ «примерно в ту же сторону» — часто да, дословно и стабильно — далеко не всегда. Robustness (робастность / устойчивость) Что происходит при отклонении от идеальных условий: криво распознанный документ, нестандартный шаблон, шум в данных, сбой вызываемого внешнего компонента, чуть иначе сформулированная инструкция? Где система ломается, и как именно? Predictability (предсказуемость отказов; по сути — калибровка уверенности) Умеет ли система сказать «не знаю», «не уверена», «нужна проверка экспертом»? Для юртеха это критично. Самоуверенная ошибка в праве часто опаснее честного ответа о неопределённости. Safety (безопасность отказа / ограничение вреда) Если ошибка всё же случилась, насколько последствия обратимы и контролируемы? Есть ли fail-safe, эскалация человеку, журналирование, возможность быстро обнаружить и решить проблемы? Почему это важно именно для юртеха: В юридических задачах цена ошибки часто не плохой «пользовательский опыт», а процессуальный риск, финансовый риск, риск нарушения прав, регуляторные последствия. Даже когда система используется как «копилот», а не как автономный исполнитель, остаётся «налог на проверку» (review burden), про который почти всегда умалчивают вендоры юртех-софта, но который съедает как минимум часть обещанной эффективности, а то и сводит её прирост к нулю или уводит в минус (когда проще было сделать задачу от начала и до конца руками). Поэтому вопрос при закупке продукта вендору должен звучать не «какая у вас точность, что с галлюцинациями?», а скорее так: как система ведёт себя при повседневном решении одной и той же задачи, при вариациях вводных данных, при сбоях, и как она сигнализирует о своей неуверенности? И самое главное: «Какие ваши доказательства?» (c) известный фильм. - Неприемлемый ответ: «Мы прикладываем к этому массу усилий, нас хвалят клиенты, мы хорошие, мамой клянёмся». - Идеальный ответ: «Вот результаты внешнего независимого аудита на текущую версию нашего продукта в динамике за последний год по запрошенным вами метрикам и его экзекьютив саммари».