Руководство по принятию правильных решений в мире недостающих данных «Темные данные: Практическое руководство по принятию правильных решений в мире недостающих данных»

Между или внутри групп? 
Проблемы, подобные парадоксу Симпсона, встречаются и в других обличьях. Например, 
экологическая ошибка возникает, когда по факту корреляции двух групп делается вывод о 
корреляции между составляющими эти группы объектами. Классический пример был описан 
в 1950 г. социологом Уильямом Робинсоном10. Корреляция между процентом иммигрантов 
в первом поколении и процентом грамотных в 48 штатах США в 1930 г. составляла 0,53. Это 
означает, что в штатах с более высокой долей «понаехавших» также и более высокий 
уровень грамотности (во всяком случае больше людей способны читать на американском 
английском). На первый взгляд, эти цифры говорят о том, что рожденные за пределами 
Соединенных Штатов более склонны к обучению. Но анализ внутри штатов 
продемонстрировал иную картину: средняя корреляция составила –0,11. Отрицательное 
значение показывает, что иммигранты в первом поколении менее предрасположены к 
освоению грамотности. Если бы информация по каждому из штатов была недоступна и 
находилась в области темных данных, то можно было бы сделать неверный вывод о прямой 
зависимости уровня грамотности от страны рождения. 
Родственная этой проблема, известная как смещение вследствие пропущенных переменных, 
возникает в более сложных статистических методах. Множественная регрессия — это 
статистический инструмент, который увязывает множество независимых переменных 
(предикторов) с зависимой от них переменной. Хотя есть особые случаи, для которых это 
неприменимо, в целом можно сказать, что пропуск любого предиктора ведет к появлению 
мнимых связей между другими предикторами и зависимой переменной. И, как и в 
предыдущем примере, поскольку мы не можем включить все возможные предикторы, 
пропуск некоторых из них неизбежен. Риск, который несут такие темные данные, 
заключается в том, что выводы могут оказаться неверными. Конечно, статистики, зная об 
этих проблемах, разрабатывают инструменты для смягчения их воздействия.