Я. Гудфеллоу, И. Бенджио, А. Курвилль

5.1.2. Мера качества 
P
Чтобы оценить возможности алгоритма машинного обучения, мы должны иметь ко-
личественную меру его качества. Обычно мера качества 
P
специфична для решаемой 
системой задачи 
T
.
Для таких задач, как классификация, классификация при отсутствии части данных 
и транскрипция, часто измеряется 
верность
(accuracy) модели. Верностью называет-
ся доля примеров, для которых модель выдала правильный результат. Эквивалент-
ную информацию можно получить путем измерения 
частоты ошибок
– доли при-
меров, для которых модель выдала неправильный результат. Иногда частота ошибок 
описывается бинарной функцией потерь, которая принимает для данного примера 
значение 0, если он классифицирован правильно, и 1, если неправильно. В задаче 
оценки плотности не имеет смысла измерять верность, частоту ошибок или любой 
другой бинарный показатель. Нужна какая-то другая мера качества, принимающая 
значения из непрерывного диапазона. Чаще всего для этой цели используется сред-
няя логарифмическая вероятность, присваиваемая примерам моделью.
Обычно нас интересует, насколько хорошо алгоритм машинного обучения работает 
на данных, которых прежде не видел, поскольку это показывает, как будет вести себя 
модель, развернутая в реальном приложении. Поэтому меры качества вычисляются 
для тестового набора данных, отдельного от данных, на которых система обучалась.

---

Алгоритмы обучения 

101
Выбор меры качества может показаться простым и объективным делом, но зачас-
тую очень трудно найти такую меру, которая точно соответствует желаемому поведе-
нию системы.
Иногда причина в том, что трудно решить, что же нужно измерять. Например, в за-
даче транскрипции нужно измерять верность при транскрипции всей последователь-
ности или лучше использовать более детальную меру, которая поощряет за правиль-
ную транскрипцию отдельных элементов последовательности? В задаче регрессии 
за что штрафовать систему сильнее: за частые ошибки средней серьезности или за 
редкие, но очень серьезные ошибки? Ответ на такие вопросы зависит от приложения.
Но бывает и так, что мы точно знаем, что хотели бы измерить в идеале, только 
сам процесс измерения практически не реализуем. Такое часто случается в контекс-
те оценивания плотности. Многие из лучших вероятностных моделей представляют 
распределение вероятности лишь неявно. Вычислить фактическую вероятность кон-
кретной точки в пространстве в подобных моделях технически невозможно. В таких 
случаях нужно придумать альтернативный критерий, который все же соответствует 
проектным целям, или предложить хорошую аппроксимацию желаемого критерия.