Как оценить свой уровень владения АБ тестами? Периодически в чате возникают вопросы про то, а какие градации могут быть у аналитиков в плане АБ тестов. И периодически люди говорят: Джун. Считает t-test и работает с user-level метриками. Мидл. Считает bootstrap, cuped, работает с ratio-метриками, через дельта-метод и линеаризацию Сениор. Применяет sequential testing, causal методы, сетевые эффекты и прочее. С одной стороны в этом есть часть правды, с другой далеко не вся правда. Градация системности Одно дело запомнить методы и формулы и просто понимать дерево решений, когда и что применить. Другое дело понимать как работает вся система. Т.е. главным фактором для оценки уровня человека в АБ тестах я бы ставил системность. Джун. Может применить t-test. Знает что-такое p-value и что его нужно сравнить с альфой. Считает, что ARPU и ARPPU примерно одно и то же и можно юзать любой вариант. Мидл. Понимает почему t-test вообще работает. Как это связано с ЦПТ. Что будет со стандартной ошибкой если увеличится дисперсия. Как систематическая часть дисперсии объясняет поведение пользователя. Понимает, что мощность и альфа это не просто дефолтные 5% и 80%, а что эти параметры реально на что-то влияют. Сениор. Понимает проблемы Ratio метрик, почему зависимость наблюдений ломает оценку t-test, при наивном подсчете. Видит за формулой дельта метода не просто набор цифр, а логику линейной аппроксимации. Понимает граничные случаи типа проблемы z-test на малых выборках. Понимает связь разных метрик с бизнесом и их ограничения. Деление выше опять таки условно. Им я хотел показать расширение системности понимания предметной области на разных грейдах. Но это далеко не то же самое, что уметь применить отдельный метод или знать какую-то формулу. В моем понимании рост грейда в Аб тестах - это расширение понимания системности статистики + умение увязать все это с бизнес задачами и учесть все ограничения, как бизнеса так и статистики, а не про то сколько формул ты запомнил.