Руководство по принятию правильных решений в мире недостающих данных «Темные данные: Практическое руководство по принятию правильных решений в мире недостающих данных»

Объединение наборов данных 
Отдельные наборы данных сами по себе имеют огромный потенциал для человечества, но 
возможность связывания, объединения или слияния наборов данных из разных источников 
создает условия для синергии. Данные одного набора в сочетании с данными другого могут 
давать иные типы информации; они могут дополнять друг друга, позволяя отвечать на 
вопросы, на которые ни один из наборов данных по отдельности не может дать ответа; или 
способны повысить точность, например, благодаря триангуляции и условному расчету, когда 
значения, отсутствующие в одном наборе данных, могут быть заполнены с использованием 
другого. 
Хорошо известно, что подобные методы используют эксперты в области судебной 
статистики и правоохранительные органы, выявляющие мошенничества, но в 
действительности сфера их применения гораздо шире. Проекты британской сети по 
изучению административных данных продемонстрировали мощь такого подхода10. Этот 
консорциум университетов и национальных статистических институтов четырех стран 
Соединенного Королевства постарался облегчить процессы объединения и анализа 
административных данных для исследований в области социологии и государственной 
политики. Например, в одном из проектов были собраны данные из нескольких источников 
для изучения влияния жилищных субсидий на состояние здоровья бездомных и 
использование ими медицинских услуг. Другая объединенная база данных позволила 
изучить влияние «топливной бедности» на здоровье граждан. Еще одна объединенная база 
данных была создана, чтобы выявить параметры связи между плотностью точек продажи 
алкоголя и здоровьем местного населения. 
Преимущества такого подхода ярко раскрылись в проекте, который связал данные шести 
социальных служб в Соединенных Штатах, чтобы получить четкую картину бездомности в 
округе Лос-Анджелес, и в рамках которого была разработана программа строительства 10 
000 домов для бездомных с проблемами психического здоровья стоимостью $2 млрд11. 
Потенциал подобных проектов неограничен, а сами они демонстрируют возможности 
современных технологий обработки данных для того, чтобы нести людям добро. Однако 
связывание наборов данных и их объединение не обходятся без проблем, поскольку и здесь 
темные данные создают риски. Для объединения наборов данных нужны общие 
идентификаторы, чтобы записи в одном наборе можно было соотнести с записями в другом. 

---

61 
Но часто данные регистрируются в разных форматах или оформляются в разных стилях, так 
что возникают несоответствия. Почти всегда в одной базе данных можно найти записи, 
имеющие отношение к людям, которых нет в другой базе данных. Дублирующие друг друга 
записи еще больше усложняют ситуацию. Методы сопоставления и связывания данных для 
уменьшения объема темной части уже стали важной областью исследований, и в 
дальнейшем их значение будет только возрастать по мере накопления больших наборов 
данных. 
Итак, подведем итог. В главе 2 мы рассмотрели различные виды данных, а в двух 
последующих, включая эту, — риски, связанные с темными данными, которые возникают в 
процессе сбора данных. В число таких рисков входят неоднозначные определения, 
отсутствующие переменные, случайные аспекты измерительных процессов, ограничения 
приборов, укрупнение данных, эффект «неуклюжего пальца» и др. Но существует целый ряд 
рисков, еще не рассмотренных нами. В следующей главе мы познакомимся с совершенно 
другим классом источников темных данных.