Я проанализировал больше 1 000 000 роботных переходов из сервисов и программ по накрутке трафика. Ниже — выводы, к которым я пришел Что показали тесты: 🔻 Большинство сервисов маскируют только user-agent и IP. Поэтому таких роботов определить легко. На входе можно отсечь примерно 70–80% роботных заходов. 🔻 Но есть и качественные решения. Из 273 параметров, которые я собирал про сеть, браузер и оборудование, роботов выдают всего 3 — все остальное маскируется идеально. Если вас качественно скликивают или накручивают, заметить это реально сложно. 🔻 Эти 3 параметра тяжело подделать из-за особенностей технологий. Но это возможно. И если строить фильтр только на них, будет много ложных срабатываний. Вывод: 100%-й точности в определении роботов на входе сейчас добиться нельзя. Если ставить капчи, отдельные страницы проверок и т. п., то вы почти неизбежно начнете терять реальных посетителей — их будут раздражать такие проверки. При этом качественные роботы умеют решать большинство типов капч. Поэтому я пошел другим путем: Когда мы разрабатывали сервис сквозной аналитики для Telegram, я уже понимал, что чудо-способа отсечь всех ботов на входе не будет. Поэтому в систему проверки сразу заложили 2 модуля, которые реально помогают определять роботов: 🔻 Поведение пользователя на странице, которое оценивает ИИ. 🔻 Повторяющиеся паттерны сети, оборудования и браузеров. Как это работает на практике: Вас скликивают качественные роботы. Они без проблем попадают на сайт, проходят фильтры, капчи и даже имитируют скроллинг/клики. Но поведение все равно получается неестественным. Система сравнивает поведение с нормой именно для этой страницы, оценивает вероятность роботности без усреднения и в момент визита передает данные о роботности в Я.Метрику. Почему не использую усредненные данные в оценке посещения: Если роботного трафика станет много, усреднение начнет считать роботов «нормой». А реальные люди будут выглядеть как отклонение. Поэтому и используется нейросеть, дообученная на большом объеме реальных посещений на тысячах разных сайтов. Дальше, когда данных накопилось достаточно: Система выделяет повторяющиеся паттерны сети/оборудования/браузера. И даже если в роботов встроят нейросеть для «реального» поведения (что резко повышает стоимость накрутки и обычно становится экономически невыгодным), паттерны все равно начнут повторяться — и это начинает фиксировать система. Сейчас детекция в сервисе идет в 3 этапа: 🔻 Конфигурация визита по 273 техническим параметрам — отсекает всех некачественных ботов. 🔻 Оценка поведения на странице с помощью ИИ — отсекает большую часть качественных ботов. 🔻 Оценка повторяющихся паттернов — добивает остатки по повторяемости профилей. Дальше можно добавить 4-й фактор: Когда в сервисе будет много сайтов, появится возможность находить повторяющиеся «профили» роботов и детектировать их сразу — по аналогии с антиспам- и анти-DDoS-сервисами. Зачем вообще определять роботов: 🔻 При высокой вероятности «роботности» я блокирую фиксацию целей в Я.Метрике и не обучаю рекламу на таких лидах. 🔻 По роботному сегменту делаю корректировку показов на -100%, чем улучшаю метрики отклика. 🔻 Роботные сегменты исключаю из отчетов — и вижу реальную картину по сайтам. Сейчас у меня уже готов кабинет, и я калибрую систему детектирования. Калибровка идет сложно, потому что нужно учитывать: 🔻 Разные типы сайтов. 🔻 Особенности CMS/фреймворков. 🔻 Политику приватности, которая каждый год усиливается и режет часть сигналов. Если вы связаны с маркетингом и трафиком — подписывайтесь! 🤝 Здесь пишу не только про сервис, но и про то, почему трафик не дает результата и что с этим делать на практике.