Последовательный критерий хи-квадрат для проверки SRM TL;DR Адаптирует классический критерий хи-квадрат для последовательного применения и позволяет обнаруживать SRM до завершения эксперимента. Почему обсуждается? На конференции мат. центров России я выступил с докладом о случайных блужданиях. Результат, связанный со сходимостью статистики хи-квадрат к квадрату процесса Бесселя, позволил построить последовательный тест для обнаружения Sample Ratio Mismatch (SRM). Проблема Нужно принимать решение о наличии SRM без ожидания конца эксперимента и накопления всей выборки. Предположения 1. Мы зафиксировали размер выборки N. 2. Распределение пользователей по группам случайное, сетевые эффекты отсутствуют. Решение Фиксируем: – размер выборки N, – α-spending функцию α(t). Здесь α(t) - накопленная вероятность ошибки на выборке размера N t. Свойства α-spending функции: – α(0) = 0, – α(1) - уровень значимости, – α(t) - неубывающая функция. Во время теста: 1. Добавляем наблюдение — номер группы, в которую попал новый пользователь. 2. Обновляем наблюдаемые доли групп q = (q(1), …, q(k)) и долю t от общего размера выборки N. 3. Считаем классическую статистику критерия хи-квадрат T(q). 4. Находим такой порог z(t), чтобы вероятность ошибки за первые N t наблюдений равнялась α(t). Для вычисления порога используем аналитические формулы или моделирование. 5. Если T(q) > z(t) → принимаем H(1); иначе — продолжаем. 6. Если дошли до полного объёма N и не приняли H(1) → принимаем H(0). Достоинства – Быстрее останавливает тест в случае SRM. – Работает с классической статистикой критерия хи-квадрат, условия применимости те же. – Поддерживает как пошаговое, так и батчевое применение: подходит и для потоков, и для агрегированных данных. – Выбор α-spending функции даёт гибкость в регулировании скорости принятия решений. Ограничения – Обладает меньшей мощностью в сравнении с применением критерия хи-квадрат в конце эксперимента. – Выбор α-spending функции не всегда очевиден — требует экспертной настройки или моделирования. – Вычисление порогов z(t) может быть вычислительно затратным, так как для них нет простой аналитической формы. Библиография Основная статья будет приложена в презентации (файл — в треде). Последовательный хи-квадрат для сгруппированных данных: Сходимость последовательности значений статистики Пирсона к квадрату нормированного процесса Бесселя //Дискретная математика. – 2016. – Т. 28. – №. 3. – С. 49-58.