bOOtstrap — что / когда / зачем? Сама техника - не сложная, поэтому предлагаю ее опустить и разобраться с важным 😱 И ты скажешь: «У меня есть t-test, и никаких мы ваших бутстрапов не знаем, идите нахер!» В целом так делают многие, и иногда не без основания. Например, в A/B-платформах бутстрап требует вычислительных мощностей, t-test - нет. И на это просто забивают, т.к. результат часто очень приближён на больших данных. Но мы же топ-аналисты ин зе ворлд, поэтому давай разбирать, где юзать Bootstrap: 🟢 T-test имеет требования к нормальности средних и работает только с метриками средних. Бутстрапу без разницы, какой оценщик использовать (среднее, медиана, перцентили). 🟢 Bootstrap может работать с ratio-метриками. Тут СУПЕР важно - правильно выбирать единицу анализа: глобальные метрики тут не работают, поюзерные метрики - работают (но на самом деле всё ещё сложнее ☠️). 🟢 Bootstrap без проблем работает с выборками, где есть огромные хвосты (ИЗИ!). Более того, под методом бутстрапа не лежит никаких требований к распределению (сюююдаааа) ✍️ Окей, а как же считается в бутстрапе p-value? Да просто - эмпирически, сколько бут-выборок показало эффект как тот, что мы получили в общем по метрике, или больше (из всех бут-выборок) 🫠 Простой пример: 🕦 Метрика - среднее время сессии (поюзерная) 📦 1000 бут-выборок 🐓 Контроль = 15,5 сек 🐛 Тест = 16 сек 🦄 Эффект = +0,5 10 бут-выборок, где эффект ≥ 0,5 (по модулю, т.к. двусторонний тест), из 1000. Следовательно, p-value = 10 / 1000 = 0,01. Да, есть и другой подход к вычислению p-value для бутстрапа, но он может сильно исказить значение. Ну и наконец-то доверительный интервал 🐓: Всё так же просто: для 95% ДИ берём 2,5-й перцентиль и 97,5-й перцентиль. Значения, которые находятся на этих отметках, и будут являться границами ДИ. Почему так просто? 🙌 Потому что наше распределение состоит из рандомно созданных выборок, и сам механизм создания распределения позволяет просто выбрать перцентили. И да, немного наебал, всё, конечно не так просто. Наш эффект, который мы посчитали «в лоб», может отличаться от того, что мы видим в бут-распределении. Из примера выше - эффект +0,5, а на бут-распределении среднее = 0,3. То есть наша оценка смещена, и её нужно скорректировать. И наш спаситель - bias correction 🦢 Как это работает: если реальная оценка меньше полученной в бут-распределении, то смещаем всё распределение влево на разницу, если больше - то вправо. И теперь уже на «правильном», несмещённом бут-распределении определяем доверительный интервал. В бутстрапе гораздо больше приколов, всё в один пост не запилишь. Пробежались по верхам, больше в следующих постах 😉 🐓 - Бутстрап, использую с кайфом 🐛 - Нихера не понятно 🐳 - Что такое медиана? (ответ синьера)