📖 Иерархия доказательств: опасная эвристика или критерий истинности? Не спешите пролистывать :) Мы бы не стали ворошить избитую классику, но подумали, что это отличный случай обсудить, почему максима о том, что эксперименты являются золотым стандартом оценки, не всегда может быть правдой 🙂 Что такое «пирамида доказательности»? 🟤Это визуальная форма «иерархии доказательств» (hierarchy of evidence): разные типы эмпирических исследований упорядочиваются по предполагаемой надежности причинных выводов [см. первый рисунок] 🟤Наверху расположены эксперименты и их синтез – систематические обзоры и мета-анализы; ниже – квазиэксперименты; ещё ниже – наблюдательные исследования и экспертное мнение 👨‍⚕️ Откуда эта идея? 🟤Термин «Hierarchy of Evidence» возник в медицине и впервые был использован в 1979 году в отчёте Canadian Task Force on the Periodic Health Examination – первом официальном источнике, предложившем организовать виды клинических исследований по степени их надёжности (Hill, Frappier-Davignon, Morrison, 1979) 🟤Эта иерархия стала одним из главных инструментов доказательной медицины для оценки качества научных результатов и клинических рекомендаций (Blunt, 2022; Burns, Rohrich, Chung, 2011) 🟤Попытки визуализировать иерархию в форме пирамиды возникли только в конце 1990-х – начале 2000-х годов, а первой широко признанной пирамидой считается вариант, разработанный в SUNY Downstate Medical Center, который затем был воспроизведен во множестве руководств и учебников по доказательной медицине (evidence-based medicine, EBM) (Wagoner et al., 2004; Blunt, 2022; Blunt, 2015) 🔮 В чём сила эвристики и в чём её ловушка? 🟤Пирамида полезна как быстрый ориентир: некоторые дизайны в среднем лучше «защищены» от систематических смещений. Например, рандомизация снижает риск конфаундинга (confounding) (Rothman, 2014) 🟤Однако в неопытных руках пирамида легко превращается в неверную логику «RCT = истина» 🟤Ротман подчёркивает: выводы о валидности нельзя делать из названия или новомодности дизайна [см. пост]; её определяют конкретные угрозы внутренней валидности и то, насколько исследование их выявляет и контролирует (Rothman, 2014) – это очень важно, поскольку, например, в экономике только 30-40% исследований с претензией на оценку эффектов обсуждают идентификационные предпосылки [см. пост] ❗️Иерархия дизайнов не является иерархией корректности причинного вывода 🟤Даже в RCT остаются источники смещения: несоблюдение назначения (noncompliance), разрыв между эффектом назначения и эффектом получения воздействия; анализ «по намерению» (intent-to-treat, ITT) при неполном соблюдении; потери наблюдений (attrition); ошибки измерения; интерференция (interference) и внешние эффекты (spillovers) (Rothman, 2014) 🟤Напротив, квазиэкспериментальные исследования могут давать высоко валидный причинный вывод, если идентификация проведена аккуратно Эта логика сатирически демонстрируется в «пирамиде Ротмана–Дахли»: наверху должны быть «вдумчивые и хорошо выполненные исследования любого дизайна», а не «правильные» ярлыки; внизу – исследования, где причинный вывод не выдерживает методологической проверки [см. второй рисунок] (Dahly, Rothman, 2025) 🙂 Главная мораль: пирамида работает, когда работает идентификация Если оставить в стороне названия дизайнов, то «силу доказательства» определяет не форма исследования, а корректность идентификации: соответствует ли оценка заявленному причинному параметру (estimand), и насколько убедительно устранены источники смещения P.S. От себя мы крайне советуем почитать работу (Rothman, 2014), где Ротман обсуждает основные исследовательские заблуждения P.P.S. О важности осмысленного подхода к квазиэкспериментам также можно почитать у Никиты Бурлова #канал_обозревает @causal_channel