A/B-тест в коммуникациях: реальный кейс, результаты и главная ошибка, которую мы недооценили Привет, коллеги! На связи Евгений Буторин, руководитель CRM-аналитики в Альфа Банке 👋🏻 Делюсь свежим (и поучительным) кейсом из нашей практики по A/B-тестам. Мы тестировали изменения в push + email-цепочке, чтобы поднять пост-коммуникационную активность клиентов. 😶 Что тестировали Гипотеза: новая версия сообщения (более персонализированный текст + эмодзи + вечерний тайминг) даст больший прирост (lift) в активности или активации клиентов, чем старая. ➖ Группа A (контроль): старая коммуникация ➖ Группа B (тест): новая версия Метрики: ➖ Активность клиента в Т0 — активность в месяце отправки коммуникации; ➖ Активность клиента в Т1 — активность клиента на следующий месяц после отправки коммуникации. 😶 Выборка и дизайн Целевая база: 100 тысяч клиентов. Группы стратифицировали по активности, сегменту, времени жизни клиента, тарифу и каналу привлечения. Период проведения: 1 месяц проведения + 1 месяц вызревания. 😶 Результаты на первый взгляд Группа B показала рост активности на 11% в Т0 и на 7% в Т1. На первый взгляд мы решили, что пилот успешен, пока не сравнили профили клиентов по сторонним коммуникациям. 😶 Главная ошибка При стратификации мы не учли параллельные коммуникации вне этого пилота. Даже при том, что на A/B-группы по этому тесту коммуникации были строго разделены, клиенты продолжали получать триггерные рассылки, другие промо, емейлы и SMS от параллельных кампаний, win-back и сервисные рассылки. В итоге в группах A и B оказалась разная «загрязнённость» дополнительными касаниями: в B случайно попало на 15–20% больше параллельных коммуникаций, чем в A. Это создало искажённое представление об успешности пилота — часть lift’а мы приписали нашей новой версии, хотя на деле был эффект синергии (или каннибализации) от других каналов. Как исправляли постфактум: 🟠 Собрали полную историю всех коммуникаций (1 месяц от запуска пилота) по каждому клиенту; 🟠 Ввели новую стратификационную переменную «communication load» с типом и количеством касаний; 🟠 Перестратифицировали обе группы заново, создав чистые эквивалентные группы; 🟠 Заново пересчитали эффекты от пилота: реальный эффект нашей коммуникации упал до +4% в Т0 и +1% в Т1. Положительный результат пилота сохранился, но значения значительно снизились. 😶 Что теперь делаем обязательно Перед запуском любого теста коммуникаций проводим обязательный аудит параллельных кампаний. В дизайне всегда включаем глобальную контрольную группу без тестовой коммуникации + стараемся изолировать группы от внешнего шума. Если шум неизбежен, то тест должен быть крупнее и дольше, чтобы шум усреднился. Хотите строить эффективные тесты и избегать ошибок? Записывайтесь на курс по A/B-тестированию, где под руководством опытного специалиста вы начнёте проводить эксперименты, которые покажут вам реальные выводы и приведут к выгодным решениям! 📈 Записаться на курс: simulative.ru/ab-test 📈 Симулейтив | ВК | YouTube