Я. Гудфеллоу, И. Бенджио, А. Курвилль

суррогатную функцию потерь
, выступающую в роли заместителя истинной, но обла-
дающую рядом преимуществ. Например, в качестве суррогата бинарной функции по-
терь часто берут отрицательное логарифмическое правдоподобие правильного класса. 
Отрицательное логарифмическое правдоподобие позволяет модели оценить условную 
вероятность классов при известном выходе, и если модель делает это хорошо, то она 
сможет выбрать классы, дающие наименьшую ожидаемую ошибку классификации.
В некоторых случаях суррогатная функция потерь позволяет достичь даже боль-
ших успехов в обучении. Например, на тестовом наборе бинарная потеря продолжает 
уменьшаться еще долго после того, как на обучающем наборе достигла нуля, если 
обучение производилось с использованием суррогата в виде логарифмического прав-
доподобия. Объясняется это тем, что даже когда ожидаемая бинарная потеря равна 
0, робастность классификатора можно еще улучшить, отодвинув классы дальше друг 
от друга и получив тем самым более уверенный и надежный классификатор, который 
извлекает больше информации из обучающих данных, чем было бы возможно в слу-
чае простой минимизации средней бинарной потери на обучающем наборе.
Очень важное различие между оптимизацией вообще и применяемой в алгоритмах 
обучения заключается в том, что алгоритмы обучения обычно останавливаются не 
в локальном минимуме. Вместо этого алгоритм, как правило, минимизирует сурро-
гатную функцию потерь, но останавливается, когда выполнено условие сходимости, 
основанное на идее ранней остановки (раздел 7.8). Типичное условие ранней останов-
ки основано на истинной функции потерь, например вычислении бинарной функции 
потерь на контрольном наборе, и предназначено для того, чтобы остановить работу 
алгоритма, когда возникает угроза переобучения. Обучение зачастую заканчивается, 
когда производные суррогатной функции потерь все еще велики, и этим разительно 
отличается от чистой оптимизации, при которой считается, что алгоритм сошелся, 
если градиент стал очень малым.