Руководство по принятию правильных решений в мире недостающих данных «Темные данные: Практическое руководство по принятию правильных решений в мире недостающих данных»

Обобщение 
Как правило, пытаться понять смысл большой таблицы данных, просто разглядывая ее, 
занятие малопродуктивное. Чтобы облегчить задачу, нужно сначала обобщить значения. 
Другими словами, мы анализируем данные, сжатые до формата сводок, который нам удобнее 
воспринимать. Например, мы вычисляем средние значения и диапазоны значений, а также 
более сложные статистические обобщения, такие как коэффициенты корреляции, 
коэффициенты регрессии и факторные нагрузки. Однако, по определению, любое обобщение 
означает жертвование деталями или, что то же самое, затемнение данных (DD-тип 9: 
обобщение данных). 
Если я скажу вам, что средний вес американских мужчин старше 20 лет составляет 88,8 кг, 
то вы наверняка сочтете эту информацию потенциально полезной4. И действительно, можно 
сравнить это значение со значениями предыдущих лет, чтобы узнать, изменяется ли средний 
вес. Но вот что вы не сможете сделать, так это определить число мужчин, вес которых выше 
той или иной величины. Вы не сможете сказать, является ли это среднее результатом 
существования небольшого числа чрезмерно тяжелых мужчин и очень худых или же есть 
много таких, у кого вес чуть выше среднего. Вы не сможете сказать, для скольких мужчин 
среднее значение показывает их вес с точностью до килограмма. На эти и другие вопросы 
невозможно ответить, потому что само понятие среднего исключает индивидуальные 
значения, затемняя данные. 
Из этого мы можем сделать несколько выводов. Один из них состоит в том, что разные 
статистические сводки, обобщая данные разными способами (например, по среднему 
значению, по разбросу значений, по степени отклонения значений от среднего), не сообщают 
нам всех данных. Затемняя данные, сводки могут скрывать важную информацию, и мы 
всегда должны быть начеку. 
Вторым важным выводом является то, что нам нужно тщательно выбирать статистические 
сводки, чтобы они соответствовали вопросу, который мы хотим задать. Средний доход, 
рассчитанный как среднее арифметическое, в небольшой компании из десяти сотрудников, 
девять из которых зарабатывают в год по $10 000, а один — $10 млн составляет более $1 
млн. Такая информация будет вводить в заблуждение, например, того, кто претендует на 
работу в этой компании. По этой причине доходы и благосостояние часто рассчитываются не 
как средняя, а как медианная величина, когда половина зарплат ниже, а половина выше этого 
значения. Еще лучше дать информацию о распределении доходов, включая статистику по 
числу тех, кто зарабатывает всего $10 000 в год или максимальный размер дохода.