Ын Анналин, Су Кеннет

1.4. Оценка результатов
После того как модель построена, ее требуется оценить. 
Для сравнения моделей по степени точности предсказа-
ний используются метрики оценки. Эти метрики опре-
деляют типы прогностических ошибок и штрафуют за 
них по-разному.

---

34
Глава 1
. 
Об основах без лишних слов
Рассмотрим три оценочные метрики, используемые 
чаще всего. В зависимости от целей нашего исследова-
ния, для того чтобы избегать ошибок специфического 
типа, могут быть разработаны даже новые метрики. 
В связи с этим перечень приводимых в этой книге оце-
ночных метрик ни в коем случае нельзя считать ис-
черпывающим. В приложении D рассмотрены другие 
примеры метрик.
Метрики классификации
Процент верных прогнозов. Простейшая мера точности 
прогнозирования — это доля достоверно правильных 
предсказаний. Вернемся к примеру с гастрономически-
ми покупками из табл. 1. Мы можем выразить резуль-
таты задачи по предсказанию покупки рыбы в таком 
утверждении: Наша модель с точностью 90 % пред-
сказывает, будет ли покупатель брать рыбу. Хотя эта 
метрика не так сложна для понимания, она не дает 
представления о том, где именно происходят ошибки 
прогнозирования.
Таблица 4. Матрица неточностей показывает точность 
предсказаний о покупке рыбы
Прогноз
Купят
Не купят
Факт
Купили
1 
(TP)
5 (FN)
Не купили
5 
(FP)
89 
(TN)

---

1.4. Оценка результатов
35
Матрица неточностей. Матрица неточностей (confusion 
matrix) дает представление о том, где наша модель про-
гнозирования преуспела и где она потерпела неудачу.
Посмотрите на табл. 4. Хотя общая точность модели 
составляет 90 %, она гораздо лучше предсказывает не 
покупки, чем покупки. Мы также видим, что число про-
гностических ошибок равномерно (по 5) распределилось 
между ложноположительными (FP, false positives) и лож-
ноотрицательными (FN, false negatives).
Разновидности прогностических ошибок могут иметь 
решающее значение. Ложноотрицательный результат 
в предсказании землетрясения (то есть землетрясения не 
ожидалось, но оно произошло) обойдется куда дороже, 
чем ложноположительный (землетрясение ожидалось, 
но не случилось).