Руководство по принятию правильных решений в мире недостающих данных «Темные данные: Практическое руководство по принятию правильных решений в мире недостающих данных»

Работа с имеющимися данными 
Определение механизма появления недостающих данных дает нам мощное средство 
решения проблемы. Но оно требует довольно глубокого понимания, поэтому часто 
используются более простые методы, в том числе и широкодоступные в пакетах 
статистических программ. К сожалению, «более простые» и «широкодоступные» 
необязательно означает «эффективные». Давайте рассмотрим некоторые из этих методов и 
то, как они соотносятся с классификацией UDD/SDD/NDD. 
В табл. 6 показана небольшая выборка, иллюстрирующая данные, собранные на начальном 
этапе исследования диет для похудения. Аббревиатура «Н/Д» означает, что значения ячеек 
недоступны, поскольку не были зарегистрированы. 
Анализ полных наблюдений 
Во-первых, мы можем использовать только заполненные без пропусков строки таблицы, то 
есть такие, которые содержат наблюдения для всех характеристик. Это имеет смысл, если мы 
полагаем, что темные данные принадлежат категории NDD, и по понятным причинам такой 
метод часто называют анализом полных наблюдений. Однако если вы внимательно 

---

124 
посмотрите на табл. 6, то сразу заметите в чем состоит проблема: даже если темные данные 
действительно относятся к категории NDD, во всех строках таблицы отсутствует хотя бы 
одно значение. Если исключить из анализа неполные строки, то у нас вообще не останется 
данных! 
Конечно, это исключительный и, надо признать, искусственный пример, но даже в менее 
экстремальных случаях такой подход может означать резкое уменьшение размера выборки. 
Если со спокойной совестью можно делать выводы на основе 1000 наблюдений, то 20 
наблюдений из этой тысячи вряд ли можно считать основанием для тех же выводов. Даже 
если бы данные принадлежали категории NDD и 20 полных наблюдений должным образом 
представляли генеральную совокупность, дисперсия, возникающая из-за столь малого 
размера выборки, могла бы заставить нас сомневаться в точности любых выводов. 
И, конечно, надо отметить, что если темные данные не принадлежали категории NDD, то 
даже небольшое уменьшение размера выборки может означать, что мы остались с 
искаженным набором данных на руках.