Руководство по принятию правильных решений в мире недостающих данных «Темные данные: Практическое руководство по принятию правильных решений в мире недостающих данных»

Невозможно измерить все 
Наборы данных всегда конечны. Это, безусловно, верно с точки зрения количества случаев 
— конечного числа людей в популяции или конечного числа измеряемых событий. Но это 
верно и с позиции того, что измеряется или какие данные собираются. Изучая людей, мы 
можем определять их возраст, вес, рост, квалификацию, любимую еду, доход и множество 
других вещей. Однако всегда будет оставаться бесчисленное множество характеристик, не 
включенных в наши определения. Эти характеристики неизбежно становятся темными 
данными со всеми вытекающими последствиями. 
Причинность 
Когда демографические исследования показали связь между раком легких и курением, 
выдающийся статистик Рональд Фишер отметил, что это необязательно означает, что 
курение вызывает рак. Он привел несколько возможных причин возникновения такой связи 
явлений, в том числе вероятность того, что и рак легких, и предрасположенность к курению 
могут быть вызваны каким-то третьим общим фактором, например на генетическом уровне. 
Здесь мы имеем дело с классическим примером темных данных DD-тип 5: неизвестный 
определяющий фактор — некоторой неизмеренной переменной, которая служит причиной и 
того и другого и даже приводит к корреляции между ними, при этом сами по себе изучаемые 
явления непосредственно не влияют друг на друга. Этот пример показывает, насколько 
сложно бывает обнаружить темные данные. 
Мы уже сталкивались с подобной ситуацией в начале книги. В главе 1 я говорил, что в 
раннем школьном возрасте рост детей соотносится с их лексическим запасом. Если вы 
проведете исследование выборки детей в возрасте от 5 до 10 лет, измеряя их рост и объем 
словаря, то обнаружите, что у тех, кто повыше, в среднем и словарный запас больше. Из 

---

45 
этого напрашивается вывод: если давать детям больше новых слов, они лучше растут. 
Можно пойти еще дальше и провести второе исследование, измеряя рост детей в начале и в 
конце года, в течение которого они интенсивно осваивают новые слова. Результаты будут 
впечатляющими — рост детей увеличится. 
Конечно, это шутка, и вы понимаете абсурдность подобных выводов. Хотя рост и словарный 
запас детей в указанном возрастном диапазоне, безусловно, взаимосвязаны, эта связь не 
носит причинно-следственного характера. Дело в том, что оба параметра зависят от третьей 
переменной — той, которую мы не планировали измерять в нашем исследовании, а именно 
от возраста детей. Возраст в этом примере является темными данными, его незнание может 
привести к ложным выводам. 
Эта ситуация отличается от той, в которой отсутствуют значения некоторых атрибутов для 
отдельных объектов, и от той, когда для отдельных объектов отсутствуют значения всех 
атрибутов. Здесь значения для определенного атрибута (или атрибутов) отсутствуют для 
всех объектов в базе данных. Все записи для такой переменной будут обозначены пробелами 
или словом «неизвестно», если вообще эта переменная была включена в исследование. 
Например, в предыдущем примере мы могли просто забыть спросить о том, сколько лет 
респондентам, поэтому у нас нет информации о точном возрасте ни одного из них. Или, 
возможно, мы не подумали о том, что возраст будет иметь значение, поэтому нам не пришло 
в голову задавать соответствующий вопрос. И для того и для другого имеются естественные 
причины: если исследование будет перегружено вопросами, это отрицательно скажется на 
уровне отклика, поэтому отбирать их приходится тщательно.