В науке довольно много держится на конвенциях и часто к этим конвенциям обращаются, как для обоснования тех или иных решений, так и для упрощения каких-то практик в исследовательской работе. Наверное, самая известная и часто критикуемая в последнее время конвенция – это отклонение нулевой гипотезы, если p < 0.05. При этом, конвенциональность периодически понимается очень вульгарно как нечто произвольно или случайно выбранное, что меня, конечно, раздражает. Сразу представляется нереалистичный образ нескольких старых белых пожилых мужчин, которые в начале XX века собрались на симпозиуме и договорились о случайно выбранном уровне альфа. Альтернативный и более разумный вариант понимания конвенциональности отсылает нас к истории и социологии науки, в том числе статистики, и показывает, что исторически этот вариант возник не случайно и неслучайно закрепился. Недавно как раз наткнулся на очень любопытную работу, в которой разбирается кусочек истории статистики и обсуждаются возможные причины, почему закрепилось пороговое значение равное 0.05. В частности: - компьютеров в начале XX века не было и поэтому практики использовали специальные таблицы для статистических расчётов. - некоторые из таких таблиц давали возможность рассчитывать только значения критерия (хи квадрата, t Стьюдента и т.д.) и сравнивать полученное значение с табличным, которое соответствовало пороговому уровню значимости при заданной степени свободы, то есть таблицы экономили силы и позволяли не рассчитывать вручную точное значение p value. - само использование таких таблиц популяризировал Рональд Фишер, который описал подобный вариант в своей работе 1925 года «Statistical Methods for Research Workers», а затем стал секретарём Комитета по таблицам Британской ассоциации и использовал свою позицию, чтобы адаптировать чужие таблицы под собственный золотой стандарт. - сам золотой стандарт таблиц опирался на уровень значимости 0.05, который Фишер привязывал к 5% вероятности получить экстремальные значения выше двух стандартных отклонений от среднего у нормально распределённой случайной величины. В эпоху компьютеров и статистических пакетов про такие таблицы все уже забыли, но конвенции по инерции остались.