Корреляция ≠ Причинность: как не обмануться цифрами 📈 Заголовки вроде «Красное вино продлевает жизнь» часто основаны лишь на корреляции, которую выдают за причину. Путаница между этими понятиями — частая ошибка в анализе и топовый вопрос на собеседованиях аналитиков и ds (по моим наблюдениям входит в топ-10 самых популярных 🔝) Суть проблемы 🚨 Высокая корреляция — это сигнал к размышлению, а не готовый вывод. За ней может стоять: 1. Скрытая переменная: жара → рост продаж мороженого и числа утоплений. В таком случае корреляция между продажами мороженого и количеством утоплений будет высокой, но первое явно не является причиной второго. 2. Обратная причинность: не прием таблеток → смерть, а болезнь → приём таблеток + смерть. 3. Случайное совпадение: если перебрать тысячи наборов данных, найдутся идеальные тренды, как акции Barclays и число экологов в штате Нью-Джерси (на картинке). Множество подобных примеров собрано на этом сайте. 4. Истинная причинно-следственная связь: как раз то, что нужно уметь распознавать аналитикам. ❗️Таким образом, из причинно-следственной связи следует корреляция, а вот обратное верно далеко не всегда. Как искать причинность? Практические методы 👍 1. Золотой стандарт: A/B-тесты 🆎 Рандомизация на тестовую и контрольную группы позволяет изолировать эффект. Статистическая проверка результатов часто основана на линейной регрессии, что тесно связывает эксперимент с базовой аналитикой. 2. Если эксперимент невозможен (работа с историческими, рыночными данными), применяют: - Проверку временного порядка: Причина всегда предшествует следствию. Если это правило не выполняется – можно не продолжать анализ. - Контроль смешивающих факторов: Внеся в модель (например, через регрессию) возможные скрытые переменные (например, социальный статус), можно увидеть, исчезнет ли исходная связь. - Поиск инструментальных переменных и другие квазиэкспериментальные методы для приближения к чистоте эксперимента. Если интересно узнать больше про эконометрические способы детекции эффектов воздействия, ставьте 🐳 Еще могу порекомендовать данный канал, он специализируется на этом. Корреляция — начало расследования, а не его итог. Чтобы говорить о причине, нужны доказательства, которые можно получить с помощью экспериментов 🔬 А встречали ли вы в своих проектах / задачах кейсы с высокой корреляцией, за которой не стояла причинно-следственная связь? Пишите в комментариях! 💬 Ставьте 🔥 если было полезно ❤️ если интересны разборы популярных вопросов с собеседований 🤩 если хотите увидеть посты про корреляционный и каузальный анализ #аналитические_методы #статистика #собеседования