Руководство по принятию правильных решений в мире недостающих данных «Темные данные: Практическое руководство по принятию правильных решений в мире недостающих данных»

Экономика 
В целом можно заключить, что изменение определений с течением времени часто меняет и 
характер собираемых данных. Это не только затрудняет ретроспективные сравнения, но 
также может вызвать обвинения в нечестности. Ярким примером служит определение 
безработицы: достаточно слегка изменить его и, о чудо, результаты работы правительства 
начинают выглядеть намного лучше. 
Другим примером в экономике является измерение инфляции. Оно основано на изучении цен 
на определенный набор товаров и услуг, называемых потребительской корзиной (которой в 
природе, конечно, не существует), и отслеживании изменений средней цены на эту корзину с 
течением времени. Однако из-за существования темных данных (DD-тип 8: неверно 
определяемые данные) все обстоит не так уж просто. Например, возникает вопрос о том, как 
рассчитать среднее значение, поскольку в статистике есть несколько способов сделать это: 
среднее арифметическое, среднее геометрическое, среднее гармоническое и т.д. Недавно 
Великобритания перешла от индекса инфляции, основанном на среднем арифметическом, к 
индексу на основе среднего геометрического, что привело его в соответствие с индексами 
большинства других стран. Когда меняется определение, вы начинаете смотреть на вещи с 
другой точки зрения, поэтому меняются и аспекты данных, которые вы видите. 
Помимо изменения формулы расчета, бывают и более фундаментальные причины, по 
которым темные данные возникают в индексах инфляции: прежде чем производить расчет, 
необходимо решить, какие товары и услуги включать в потребительскую корзину и как 
именно получать информацию о ценах. В целом, как показали предыдущие примеры, мы 
должны осознавать риск появления темных данных всякий раз, когда в процессе сбора 
данных встаем перед выбором. При расчете инфляции важнейший вопрос — что положить в 
потребительскую корзину — потенциально проблематичен, поскольку общество меняется, а 
индексы инфляции должны так или иначе отражать стоимость жизни. Я намеренно 
использовал выражение «так или иначе», чтобы подчеркнуть неоднозначный факт: разные 
индексы измеряют разные аспекты влияния инфляции. Одни измеряют то, как ценовые 
изменения влияют на людей, другие — как они влияют на экономику в целом и т.д. В любом 
случае важно, чтобы потребительская корзина была релевантной, то есть состояла из товаров 
и услуг, которые люди действительно покупают. Для сравнения представим, что могло быть 
включено в корзину индекса цен 200 лет назад, и сопоставим с тем, что входит в нее сегодня. 
Два столетия назад свечи были бы важнейшим элементом корзины, но сегодня расходы на 
них далеки от того, чтобы счесть их значимыми. Свечи и уголь уступили место мобильным 
телефонам и автомобилям. Это означает, что у нас есть номинальный список товаров, 
которые в принципе могут быть включены в корзину, но не все из них в нее попадают. 
Несмотря на глубокое продумывание того, какие именно товары следует учитывать, ясно, 
что при расчете инфляционных индексов всегда остается элемент неопределенности и 
произвола. 

---

44 
Что касается того, как получать информацию о ценах на товары в корзине, то традиционно 
для этого принято проводить опросы и направлять сборщиков данных непосредственно в 
магазины и на рынки. Бюро трудовой статистики США обследует таким образом около 23 
000 предприятий и регистрирует цены около 80 000 предметов потребления каждый месяц, 
суммируя их, чтобы получить индекс потребительских цен. Другие страны используют 
аналогичный подход. 
Возможно, вы заметили, что этот традиционный метод сбора ценовых данных полностью 
игнорирует покупки онлайн. Учитывая, что на такие покупки в настоящее время приходится 
уже около 17% розничных продаж в Великобритании6 и почти 10% розничных продаж в 
США7, становится ясно, что многие релевантные цены никак не учитываются в индексе. 
(Стоит отметить, что последние цифры действительны на момент написания книги, в то 
время как тенденция стремительно нарастает.) По этой причине многие страны начали 
разрабатывать методы учета цен в интернете. Эти методы не являются копией 
традиционных, потому что корзины в том и другом случае отличаются. Мы увидим пример 
такого метода в главе 10. 
Общество меняется непрерывно, а сегодня это происходит куда быстрее, чем когда-либо в 
прошлом, поскольку компьютер и сопутствующие ему технологии — мониторинг, 
глубинный анализ данных, искусственный интеллект, автоматизированные транзакции и 
глобальная сеть — оказывают все большее влияние. Такая скорость изменений имеет важные 
последствия для анализа информации с точки зрения темных данных, поскольку прогнозы 
всегда строятся на том, что случалось в прошлом. Последовательности данных во времени в 
науке называют временными рядами. Скорость изменения методов и технологий сбора 
данных означает, что временные ряды часто ограничены весьма недавним прошлым. Новые 
типы данных потому и называются «новые», что они имеют недолгую историю и доступны 
лишь за относительно короткий период времени. За пределами же его лежит тьма.