Дизайн A/B теста: пошаговая инструкция Продолжаю рубрику вопросов с собеседований, сегодня предлагаю разогнать классический кейс на дизайн A/B теста. К тебе приходит продакт с легендарной идеей покрасить кнопку “купить” в зеленый. В таких вопросах A/B тест это не всегда единственный и лучший вариант, но в данном случае A/B наиболее просто задизайнить и объяснить. Примерная структура ответа: 1. Уточнить контекст: Какую проблему решаем (низкая конверсия, плохая заметность кнопки), какой ожидаемый эффект, как дорого это для разработки (в данном примере скорее всего недорого). 2. Выбрать метрики: ключевые, вспомогательные, заградительные В данном случае скорее всего ключевой метрикой будет конверсия в успешную покупку, в качестве вспомогательных можно взять конверсию в клик по кнопке. 3. Сформулировать гипотезы: бизнесовые и статистические Бизнес-гипотеза: Зелёная кнопка повысит заметность, увеличит желание нажать на нее и увеличит конверсию в покупку. Статистические гипотезы H₀: конверсия в тестовой группе не отличается от контрольной; H₁: конверсия в тестовой группе отличается от контрольной. По умолчанию проводим именно двусторонний тест, так как наше воздействие может быть в обе стороны. Вообще односторонний тест на практике обычно не применяется и требует явного обоснования. 4. Дизайн эксперимента, расчет размера выборки Вот здесь обычно начинаются сложности, рекомендую почитать пост Макса и планирую написать про это отдельно. В рамках этого поста разберем буквально в двух словах: Для расчета размера выборки нужно зафиксировать три параметра: 🟡α - верхняя граница вероятности ошибки первого рода. 🟡Мощность - вероятность обнаружить реальный эффект 🟡MDE (Minimum Detectable Effect) - это минимальный размер эффекта, который эксперимент должен уметь обнаружить с заданной альфой и мощностью + имеет бизнес-смысл. Дальше логика такая: - от базовой конверсии выбираем MDE, - фиксируем α и power, - фиксируем сплитование: 50/50 даёт максимальную мощность, любой другой сплит нужно уметь объяснить. - считаем размер выборки, - делим на дневной трафик → получаем длительность теста, - при необходимости учитываем недельную сезонность. Важно понимать: чем меньше MDE, тем больше выборка и длиннее тест. Подробнее можно почитать здесь 5. Зафиксировать критерии принятия решения Ещё на этапе дизайна договариваемся с продактом: - Какой результат теста признаем успешным - В каких сегментах будем смотреть - Что будем делать с серым тестом (статистически незначимым) - Какие критерии экстренной остановки теста В некоторых случаях продакты могут раскатывать и серый тест, но нужно осознавать, какие могут быть последствия у этого. 6. Бонус: A/A тесты На собеседовании упоминание A/A — скорее плюс: - A/A полезен для проверки сплитовалки и метрик - если система уже валидирована, перед каждым A/B его обычно не проводят 7. Подведение итогов теста После завершения эксперимента: - проверяем SRM (Sample Ratio Mismatch) - сравниваем конверсии (обычно используется z-тест пропорций) - смотрим доверительные интервалы - анализируем заградительные и вспомогательные метрики (но решение принимаем по ключевой) - отдаем продакту решение, а не просто p-value Главное на собеседовании – уметь структурировать ответ, понимать ограничения A/B тестов и не запутаться в вопросах о статистике, если они будут! Всем удачных собеседований и адекватных собеседующих 💪 #собес_PA #analytics #AB_tests