Как минимизировать события кредитной социнженерии с помощью ML? Об этом на Scoring Day рассказал Антон Исправников, начальник управления моделирования РБ, Банк ВТБ. Подходы и инструменты «социнженеров» Основной инструмент мошенников — психология и работа с эмоциями. Сначала жертву выводят из равновесия: пугают («сейчас украдут деньги со счетов»), давят на срочность («нужно перевести в течение 5 минут»), или, наоборот, обещают быстрый заработок. В состоянии страха, паники или жадности человек хуже контролирует решения. Дальше подключаются «катализаторы» воздействия: мнимая авторитетность («сотрудник банка», «полиции», «ФСБ», «руководитель»), важность и жесткие сроки. Комбинация сильных эмоций и таких триггеров — основа успешной атаки на человеческое мышление. Размер ущерба По оценкам ЦБ и крупных компаний в сфере кибербезопасности, около 90% мошенничества связано с социальной инженерией (СИ). В одном из обзоров ЦБ фигурирует ущерб около 5 млрд рублей на протяжении одного квартала, но реальная сумма, вероятно, выше. Чем интересуются мошенники: • кредитные карты, кредиты наличными и авто с отложенным залогом. Последние два продукта подвергаются атакам в большей степени. Доля событий СИ может достигать 1.5% в зависимости от продукта и периода времени. Каналы выдачи: • точки продаж и интернет‑банк, и последний, как правило, наиболее уязвим воздействию СИ Целевые показатели СИ для будущих моделей: Количество случаев СИ насчитывает сотни - на объемах крупного банка это превращается в очень значимые суммы — и именно здесь ML может дать максимальный эффект. Что с этим делать? Самый простой шаг — короткая анкета из 10-15 вопросов в момент подачи заявки на кредит. Иногда люди в процессе заполнения понимают, что действуют «по указке», иногда жертву можно вычислить по нестандартному поведению. Но анкета срабатывает не всегда: мошенники отлично умеют готовить жертв. Поэтому переходим на следующий уровень: анализ больших данных и подготовка ML-модели для хотя бы частичного предвосхищения таких событий. Условно делим данные на три группы: 1) внутренние: соцдемография, транзакции, кредитная история, продуктовый профиль. 2) внешние: из БКИ, от работодателя и внешних провайдеров (особенно ценны данные телеком-операторов) 3) (почти) real‑time: события и триггеры по клиенту — как давно до заявки он снимал наличные, какие операции проводил, как часто меняет пароль в ЛК, продолжительность сессий и т.п. Из этих данных генерируется множество фичей для обучения онлайн-модели, которая оценивает вероятность того, что кредит запрашивается под воздействием социальной инженерии. Сегментация — стоит отдельно анализировать онлайн и офлайн каналы подачи заявки, а также продукты. Целевое событие — подтвержденный случай социальной инженерии. Таргет — бинарный, задача — классификация. Алгоритм обучения — градиентный бустинг. Целевые метрики: — F1-score (основная в данном кейсе) - среднее гармоническое между точностью и полнотой, помогает найти максимум мошенников и минимизировать количество ложноположительных срабатываний, тем самым сократив число необоснованных отказов. Качество модели на каждой итерации оценки признаков измерялось с помощью метрики, основанной на площади под кривой F1-score в заданном диапазоне cut-off (0–10%). Gini показатель второстепенный, поскольку хорошо демонстрирует упорядоченность наблюдений, но предсказания на уровне фиксированного порога классификации могут быть неэффективны. Можно использовать соотношение «чувствительность/специфичность» для минимизации разницы между ними, но тогда вырастает доля ложноположительных решений. Результаты Оптимизация площади под кривой F1 позволила банку увеличить как ранжирование (Gini), так и F1-score на несколько процентных пунктов — результат не космический, но в риск-менеджменте важны именно взвешенные решения, а не эффектные цифры в презентации. За год банк смог выявить сотни случаев социальной инженерии и потенциально сохранить для клиентов более миллиарда рубле