Руководство по принятию правильных решений в мире недостающих данных «Темные данные: Практическое руководство по принятию правильных решений в мире недостающих данных»



Download 1,71 Mb.
Pdf ko'rish
bet30/84
Sana04.11.2022
Hajmi1,71 Mb.
#860117
TuriРуководство
1   ...   26   27   28   29   30   31   32   33   ...   84
Bog'liq
Тёмные данные. 2021

Недостатки приборов 
Влияние человеческого фактора огромно, но не только люди допускают ошибки: порой из 
строя выходят измерительные приборы, что тоже влечет за собой скрытые проблемы с 
темными данными. По крайней мере если неисправность прибора не обнаружить сразу, то он 
какое-то время будет регистрировать нулевые или просто неверные значения. Помните эти 
драматичные моменты в фильмах, когда сигнал на кардиомониторе обрывается и мы видим 
недвусмысленную прямую, сопровождаемую жутким писком? Так вот, точно такую же 
картинку можно получить, если сенсоры просто свалятся с пациента. 
Один из моих аспирантов работал над проектом по исследованию влияния неблагоприятных 
погодных условий, таких как сильные ветра и ливни, на телекоммуникационные сети. Он 


59 
собрал данные из подробных отчетов об авариях в сетях и их ремонте, а также из 
метеосводок (фактически связывая наборы данных, как это описано в следующем разделе). 
Будучи толковым студентом, прежде чем приступить к анализу, он внимательно изучил сами 
данные, отобразил их графически и так и этак, выискивая аномальные значения, и в 
результате заметил нечто очень странное. Необработанные цифры показывали, что часто 
ровно в полночь на сотовые вышки обрушивались ураганные порывы ветра. Это выглядело 
тем более таинственно, что никто почему-то о них не мог вспомнить. И действительно, 
записи Метеорологической службы подтверждали, что ничего подобного вроде бы не 
происходило. 
У зловещей загадки оказался забавный ответ. Копая глубже, аспирант обнаружил, что в 
полночь установленные на вышках анемометры, измеряющие скорость ветра, автоматически 
перезагружались. И иногда в этот момент они выдавали сигнал сильного порыва ветра, что, 
конечно, не имело отношения к действительности. Если бы мой ученик не понимал 
необходимости тщательно проверять данные, их анализ привел бы к абсурдным выводам. 
Но, к счастью, он заметил проблему и смог ее решить. 
Неисправность приборов может обойтись очень дорого. В 2008 г. бомбардировщик ВВС 
США B-2 Spirit потерпел крушение на Гуаме из-за неверных данных, переданных 
намокшими датчиками. Экипаж полагал, что самолет набрал необходимую для взлета 
скорость 140 узлов, тогда как на деле она была на 10 узлов меньше. 
В предыдущем разделе мы рассмотрели случаи, когда данные произвольно отсекаются 
границами диапазона значений. Но часто такой эффект возникает из-за самой конструкции 
измерительных приборов. 
Например, напольные весы имеют верхнее предельное значение, которое они могут 
отобразить. Все, кто тяжелее этого максимума, будут знать, что их вес превышает его, 
однако точное значение будет скрыто в области темных данных. Хотя эта ситуация и 
напоминает верхний предел избыточности, рассмотренный нами ранее, она не является 
результатом преднамеренного выбора исследователей и имеет собственное название — 
эффект потолка. Аналогичным образом в других контекстах существует нижний предел 
значений, ниже которого все данные будут регистрироваться как меньшие или равные 
минимальному порогу измерительного прибора. По вполне понятным причинам эта 
ситуация называется эффектом пола. Например, температура ниже точки замерзания ртути 
не может быть зарегистрирована с помощью ртутного термометра. Эффекты потолка и пола 
приводят к появлению темных данных DD-тип 1: данные, о которых мы знаем, что они 
отсутствуют, поскольку факт существования значений нам известен, в отличие от самих 
значений, о которых мы знаем только то, что они выше или ниже некоторого предела. 
Поэтому эти данные относятся еще и к DD-типу 10: ошибки измерения и неопределенность. 
Эффекты потолка и пола могут проявляться довольно неожиданно. Например, по 
приблизительным оценкам, во Вселенной около 1024 звезд — полностью это число выглядит 
как единица с 24 нулями. Но только около 5000 звезд видны невооруженным глазом с Земли, 
а поскольку сама планета закрывает от наблюдателя половину небесного свода, в любой ее 
точке мы можем видеть лишь половину этих звезд. Это означает, что большинство данных, 
относящихся к астрономическим объектам, были темными до изобретения телескопа: 
яркость этих объектов лежала ниже уровня чувствительности человеческого глаза. Таким 
образом, любые выводы о природе Вселенной, основанные на анализе нескольких тысяч 
видимых звезд, могут быть очень обманчивыми. 
Около 1609 г. Галилей начал исследовать небосвод с помощью своего телескопа с примерно 
30-кратным увеличением и обнаружил существование звезд, о которых раньше никто не 
подозревал. С тех пор развитие технологий сообщало нам все больше информации о 


60 
Вселенной. Тем не менее основная проблема до сих пор заключается в том, что чем более 
удалены астрономические объекты, тем ниже их яркость и, соответственно, вероятность 
обнаружения. Неспособность как-то исправить эту ситуацию стала причиной смещения 
Малмквиста, названного в честь шведского астронома Гуннара Малмквиста, который открыл 
этот эффект в 1920-х гг. Смещение Малмквиста проявляется, например, в том, что хотя и 
звезды, и галактики имеют одинаковый предел яркости, при котором могут быть 
обнаружены, но звезды с большей вероятностью превысят этот порог обнаружения и станут 
видимыми, поскольку представляют собой более концентрированные источники света. 
Игнорирование этого характерного для темных данных эффекта искажает наше понимание 
структуры Вселенной. 
Все более мощные телескопы, как наглядный пример технологического прогресса, буквально 
раздвигают границы познаваемого мира, а если говорить языком этой книги, то высвечивают 
данные, скрытые доселе во мраке. В других областях этой цели служат иные инструменты. 
Микроскопы и применение сканирования в медицине позволяют получить новую 
информацию о человеческом теле, аэрофотоснимки рассказывают нам о древних 
сооружениях на поверхности Земли, а сейсмические приборы и детекторы магнитного поля 
дают возможность заглянуть в ее глубины. Эти и множество других инструментов 
расширяют возможности нашего восприятия, постепенно раскрывая темные данные. 

Download 1,71 Mb.

Do'stlaringiz bilan baham:
1   ...   26   27   28   29   30   31   32   33   ...   84




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish