Часть II • Введение в TensorFlow.js
одновременно высокой точности и полноты (в ином случае задача оказалась бы
очень простой и машинное обучение вообще бы не понадобилось). Точность и полно
та служат для тонкой подстройки модели в областях, где принципиально неизвестно,
каким должен быть правильный ответ. Вы встретите еще более дифференцирован
ные и сложные метрики, например
Точность при полноте
X %
, где X около 90 % —
точность при настройке модели на поиск как минимум 90 % позитивных примеров
данных. Например, из рис. 3.5 видно, что после 400 эпох обучения наша модель об
наружения фишинга достигла точности 96,8 %, а полноты — в 92,9 % при пороговом
значении вероятности классификации 0,5.
Важно отметить, что пороговое значение выходного сигнала сигмафункции
для выбора позитивных предсказаний не должно быть равно 0,5. На самом деле
в зависимости от обстоятельств может быть удобнее задать его равным значению
больше 0,5 (но меньше 1) или меньше 0,5 (но больше 0). При снижении этого по
рогового значения модель с большей щедростью раздает входным примерам данных
позитивные метки, в результате чего повышается полнота, но снижается точность.
С другой стороны, при повышении этого порогового значения модель с большей
осторожностью раздает входным примерам данных позитивные метки, так что
точность повышается, зато снижается полнота. Следовательно, наблюдается опре
деленный баланс между точностью и полнотой, который весьма непросто выразить
количественно с помощью какойлибо из вышеупомянутых метрик. К счастью, об
ширные исследования в области бинарной классификации выявили лучшие способы
количественного выражения и визуализации этого соотношения. Для данной цели
часто используется кривая ROC.
3.2.3. Кривая ROC: наглядное представление
соотношения плюсов и минусов при бинарной
классификации
Кривые ROC применяются во множестве разнообразных инженерных задач, тре
бующих бинарной классификации или обнаружения определенных видов собы
тий. Полное ее название —
рабочие характеристики приемника
(receiver operating
characteristic) — появилось в эпоху первых радаров. Сегодня оно практически
не встречается в литературе. На рис. 3.6 приведен пример кривой ROC для нашего
приложения.
Как видно из меток осей координат на рис. 3.6, кривые ROC не отражают зависи
мость точности и полноты, а основаны на двух несколько других метриках. По гори
зонтальной оси координат кривой ROC откладывается
частота ложнопозитивных
результатов классификации (false positive rate, FPR):
FPR = #FP / (#FP + #TN)
А по вертикальной оси кривой ROC откладывается
частота истиннопозитивных
результатов (true positive rate, TPR):
TPR = #TP / (#TP + #FN) = полнота
Do'stlaringiz bilan baham: |