Math for Impact

Математика последовательных подходов TL;DR Три последовательных критерия — SPRT, GST и mSPRT — используют разную математику. В этом посте — краткий обзор формул, допущений, сильных и слабых сторон каждого критерия. Почему обсуждается? Последовательные подходы основаны на разных математических принципах — от мартингальной теории до центральной предельной теоремы. Понимание используемой математики помогает лучше видеть ограничения и преимущества методов, а также адаптировать последовательный анали...

A/B тестирование большого числа моделей TL;DR Позволяет эффективно проводить эксперименты с большим числом персонализаций и существенно снижать размеры выборок. Почему обсуждается? Когда мы тестируем несколько вариантов моделей, размер выборок быстро растёт. Однако решения моделей на большой доле клиентов могут совпадать. Рассматриваемый подход похож на валидацию моделей без A/B и позволяет значительно снизить затраты на проведение экспериментов. Проблема Нужно минимизировать размер выборки и по...

Практический гид по A/B-тестам TL;DR Наша команда собрала опыт в формате ежедневных коротких советов и кейсов по A/B-тестам, а также добавила возможность получить разбор своих экспериментов от экспертов. Всё доступно на сайте. Почему мы это сделали Одни из моих основных задач — ревью крупных экспериментов: – оценка пользы нефинансовых сервисов; – анализ редизайна ключевых экранов; – тестирование кросс-продуктовых механик; – проверка влияния рекламных кампаний и изменений в тарифах. За последние ...

Условная максимизация в uplift моделировании TL;DR Позволяет персонализировать принятие решений, выбирая оптимальную стратегию с учётом не только эффекта, но и стоимости воздействия. Почему обсуждается? Обычная uplift модель выбирает вариант с максимальным ожидаемым эффектом. Но в реальных задачах каждое воздействие имеет свою цену или риск. Рассматриваемый подход решает эту проблему: он позволяет находить оптимальное решение при фиксированном уровне затрат. Проблема Нужно персонализировать выбо...

Uplift моделирование: Causal Random Forest TL;DR Позволяет персонализировать принятие решений, предсказывая эффект от каждого воздействия на клиента. Особенно полезен, если вариантов немного. Почему обсуждается? Модели, основанные на S-learner подходе, могут слабо различать варианты воздействий на клиента. Рассматриваемый подход позволяет сильнее сфокусироваться на различиях между вариантами воздействий. Проблема Нужно персонализировать выбор воздействия для максимизации целевой метрики. Предпол...

Оценка качества персонализации TL;DR Позволяет оценить эффективность персонализации без проведения нового эксперимента. Особенно полезен, если вариантов воздействий немного. Почему обсуждается? При разработке персонализации важно заранее понимать, принесёт ли она прирост целевых метрик и не создаст ли нежелательных эффектов. Рассматриваемый подход позволяет оценить ожидаемую пользу и риски персонализации на оффлайн-данных, без запуска дополнительного эксперимента. Проблема Нужно оценить значение...

Последовательный анализ Вальда TL;DR Позволяет ускорить тесты конверсий примерно на 60%. Эффективен в случае быстро вызревающих метрик и при отсутствии сезонностей. Почему обсуждается? Этот пост открывает серию разборов последовательных критериев - каждый со своими предпосылками, достоинствами и ограничениями. Начинаем с классики - анализа Вальда. Проблема Хотим проводить эксперименты быстрее. Fixed-horizon подход требует заранее выбрать размер выборки Ν. При таком размере выборки мы сможем увер...

Uplift моделирование: S-learner TL;DR Позволяет персонализировать принятие решений, предсказывая эффект от каждого варианта решения. Особенно полезен, если вариантов много. Почему обсуждается? Этот пост открывает серию разборов, которые в конце будут объединены в оригинальную методологию управления бюджетом с помощью ML. Начнём с базового подхода, на котором строится стратегия персонализации. Проблема Нужно персонализировать выбор воздействия для максимизации целевой метрики. Предположения Для к...

Последовательный критерий хи-квадрат для проверки SRM TL;DR Адаптирует классический критерий хи-квадрат для последовательного применения и позволяет обнаруживать SRM до завершения эксперимента. Почему обсуждается? На конференции мат. центров России я выступил с докладом о случайных блужданиях. Результат, связанный со сходимостью статистики хи-квадрат к квадрату процесса Бесселя, позволил построить последовательный тест для обнаружения Sample Ratio Mismatch (SRM). Проблема Нужно принимать решение...

О себе Привет! Меня зовут Виктор Харламов. Я DS в Т-Банке, исследователь в МИАН и аспирант мехмата МГУ. Моя основная работа - оптимизировать продукты и процессы с помощью статистики и ML. О чём канал Здесь я буду делиться обзорами подходов из научных статей и докладов — в том числе по последовательному анализу, uplift моделированию, causal inference и методам сокращения дисперсии. Главный фокус - практическая польза и опыт приложения в реальных задачах. О постах Know-how не читают каждый день, т...