Я. Гудфеллоу, И. Бенджио, А. Курвилль

точ-
ность
(precision) и 
полноту
(recall). Точностью называется доля правильных ответов 
модели, а полнотой – доля обнаруженных истинных событий. Детектор, утверждаю-
щий, что нет ни одного больного, имеет идеальную точность, но нулевую полноту. 
Детектор, утверждающий, что больны все, достигает идеальной полноты, но его точ-
ность равна процентной доле людей, страдающих заболеванием (0.0001 в случае, ког-
да заболеванием страдает один человек на миллион). При использовании точности 
и полноты часто строят ТП-кривую, когда по оси 
y
откладывается точность, а по оси 
x
– полнота. Порождаемая классификатором оценка выше, если подлежащее обна-
ружению событие действительно произошло. Например, сеть прямого распростра-
нения, предназначенная для обнаружения болезни, выводит оценку 
y
ˆ = 
P
(
y
= 1 | 
x
) 
вероятности того, что человек, чьи медицинские анализы описываются признаками 
x
, 
болен. Сеть сообщает, что событие обнаружено, если эта оценка превышает заданный 
порог. Варьируя порог, мы можем отдавать предпочтение либо точности, либо полно-
те. Во многих случаях желательно охарактеризовать качество классификатора одним 
числом, а не кривой. Для этого точность 
p
и полнота 
r
объединяются в 
F
-меру
:
(11.1)
Еще один вариант – сообщать площадь под ТП-кривой. В некоторых приложени-
ях система машинного обучения может отказаться принимать решение. Это полез-
но, если алгоритм способен оценить степень уверенности в своем решении, особенно 
если неверное решение может нанести вред, а у оператора есть возможность взять от-
ветственность на себя. Примером может служить система транскрипции Street View. 
Ее задача – найти на фотографии номер дома, чтобы можно было связать координаты 
места съемки с адресом на карте. Поскольку ценность неточной карты резко снижа-
ется, важно добавлять адрес, только если транскрипция правильна. Если система ма-
шинного обучения полагает, что правильность транскрипции сомнительна, то лучше 
всего перепоручить обработку фотографии человеку. Разумеется, система полезна, 
только если она кардинально уменьшает количество фотографий, требующих внима-
ния человека. В этой ситуации естественным показателем качества является