А/В-тест “здорового” продакта А теперь к серьезным вопросам. Что нужно предусмотреть в А/В-тесте, чтобы не было бесполезной траты ресурсов. 1. Формулировка гипотезы (чтобы тест был про бизнес, а не про кнопки) Плохо: Если поменять текст на кнопке, конверсия вырастет Рабочее: Если мы [изменение], то [сегмент пользователей] будет чаще [целевое действие], потому что [инсайт/причина]. Чек-лист • Есть конкретное изменение (1, не 3 сразу) • Понятен сегмент (новые / активные / churn-risk и т.д.) • Привязка к бизнес-метрике (деньги, удержание, скорость) • Есть причина, а не кажется. Если нет причины — тест превращается в казино. 2. Решение, которое вы примете по итогам. Какое решение я приму, если результат будет положительный, нулевой или отрицательный. Чек-лист • Есть заранее определённые варианты действий • Решение не зависит от «настроения» • Команда согласна с правилами игры Если ты не знаешь, что будешь делать с результатом — тест не нужен. 3. Метрики: одна главная, остальное — страховка • Primary metric — ради неё всё • Guardrail metrics — чтобы не сломать систему • Diagnostic metrics — чтобы понять почему 4. Дизайн эксперимента. Ключевые вопросы • Кто попадает в тест? • Какой % трафика? • Сколько длится тест? • Что считается одним пользователем? Чек-лист • Сегменты не смешиваются (новые ≠ старые) • Нет пересечений с другими экспериментами • Размер выборки посчитан (или хотя бы оценён) • Длительность покрывает полный пользовательский цикл 5. Что проверить в первые 24 часа • Трафик реально делится 50/50 (или как задумано) • Нет технических ошибок • Метрики обновляются • Нет аномалий в guardrails На этом этапе мы не смотрим кто выигрывает. 6. Анализ результатов. Сначала смотри на: • Направление эффекта • Размер эффекта • Стабильность по сегментам Чек-лист • Эффект бизнес-значим, а не только стат-значим • Нет скрытых просадок в guardrails • Результат не держится на одном микросегменте • Нет p-value шаманства Хотите расти в продакт-менеджменте? Приходите на наши курсы и ресурсы от редакции, регулярно обновляем и что-то новое создаем. Отправить личный запрос автору можно тут.