Про гипотезы Самая частая ошибка, которую я вижу в отчетах и на защитах проектов, дипломов, выпускных работ — это проверка гипотез. Какая именно гипотеза — не так важно (стандартная «Если сделать [что-то], то произойдет [это] или (на столько) вырастет метрика X»). Важно, как команда проверяет гипотезу. Что я чаще всего вижу? Команда (или студент) думает, что какой-то фактор (например, цвет кнопки на сайте) повлияет на какую-то измеримую метрику (конверсию из посетителя сайта в зарегистрированного пользователя). Берут две группы — контрольную (видит одну кнопку) и тестовую (видит другую кнопку). Или другой вариант: сравнить до и после. Если команда видит отличия в конверсии между группами, то чаще всего делает вывод, что все получилось — гипотеза подтвердилась. Конец. На самом деле это не так. Есть статистические методы проверки гипотез, и мир сложнее, чем кажется. Для нашего примера — наблюдаемое отличие в конверсии между двуям группам не означает, что оно реально существует (это не случайность) и что цвет кнопки действительно на что-то влияет. За мой 20-летний опыт в образовании — это самая частая ошибка, о которой я пишу в отзывах и рецензиях. То, что вы увидели отличия в каких-то метриках между контрольной и тестовой группой в вашем эксперименте, еще не означает, что эти отличия действительно существуют. Некоторым командам, конечно, везет - они берут такие результаты в работу и ничего не ломается. Совет тем, кому хочется большей предсказуемости и меньше полагаться на удачу. Если вдруг кто-то в вашей команде проводит эксперименты и показывает вам результаты, то попробуйте разобраться, а действительно ли эти отличия существуют. Спросите, какими статистическими методами проверки гипотез пользовалась команда.