Линейная регрессия, причинно-следственный вывод и АБ тесты Сегодня хочу поговорить о том в каких кейсах и для чего можно использовать линейную регрессию в контексте АБ и причинных исследований. 1. Прямое измерение эффекта тритмента Строим регрессию где целевая переменная наша метрика в АБ тесте. В качестве независимой переменной берем факт наличия тритмента. Получаем оценку p-value для различий в целевой метрике между группы и прочие прелести. 2. Контроль переменных для снижения дисперсии Добавляем в регрессию переменные, которые объясняют часть дисперсии целевой метрики, например сегменты пользователей или историю поведения. Уменьшается стандартная ошибка оценки и как следствие повышается чувствительность теста. 3. Корректировка оценки эффекта из-за нарушения сбалансированности Если случайная рандомизация не идеально сбалансировала группы по сегментам или важным признакам, можно использовать регрессию для контроля за этими различиями и получить более точную оценку эффекта. 4. Исключение влияния переменных при анализе наблюдательных данных Если данные не экспериментальные, регрессия помогает выделить чистый эффект интересующего фактора, контролируя влияние «посторонних» переменных. 5. Сравнение различий между группами (Diff-in-Diff) Линейная регрессия с дамми-переменными позволяет оценить эффект до/после между группами, одновременно учитывая наличие исходной разницы между ними, так что эта разница не искажает оценку эффекта. 6. Оценка взаимодействий между экспериментами Линейная регрессия с interaction-термами позволяет проверить, одинаково ли варианты одного эксперимента влияют на пользователей в разных контекстах, в частности — при наличии другого эксперимента у этих же пользователей. Какие еще кейсы вы знаете где можно использовать линейную регрессию? P.S. На следующей неделе стартует мой курс по АБ тестированию, еще можно успеть https://t.me/y_borzilo/1155