Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
, 
y
) эмпирическим распределением 
p
�
(
x
, 
y
), 
определяемым по обучающему набору. И теперь требуется минимизировать 
эмпири-
ческий риск
:
(8.3)
где 
m
– количество обучающих примеров.
Процесс обучения, основанный на минимизации этой средней ошибки обучения, 
называется 
минимизацией эмпирического риска
. В такой постановке машинное 
обуче ние все еще очень похоже на чистую оптимизацию. Вместо оптимизации риска 
напрямую мы оптимизируем эмпирический риск и надеемся, что и риск тоже заметно 
уменьшится. Существуют теоретические результаты, устанавливающие условия, при 
которых можно ожидать того или иного уменьшения истинного риска.

---

Чем обучение отличается от чистой оптимизации 

239
Тем не менее минимизация эмпирического риска уязвима для переобучения. Моде-
ли высокой емкости могут попросту запомнить обучающий набор. Во многих случаях 
минимизация эмпирического риска практически неосуществима. Самые эффективные 
современные алгоритмы оптимизации основаны на градиентном спуске, но для мно-
гих полезных функций потерь, например бинарной, производная малоинтересна (либо 
равна нулю, либо не определена). Из-за этих двух проблем минимизация эмпирическо-
го риска редко применяется в контексте глубокого обучения. Вместе нее используется 
несколько иной подход, при котором фактически оптимизируемая величина еще силь-
нее отличается от той, которую мы хотели бы оптимизировать на самом деле.
8.1.2. Суррогатные функции потерь и ранняя остановка
Иногда реально интересующая нас функция потерь (скажем, ошибка классификации) 
и та, что может быть эффективно оптимизирована, – «две большие разницы». Напри-
мер, задача точной минимизации ожидаемой бинарной функции потерь обычно нераз-
решима (она экспоненциально зависит от размерности входных данных), даже для ли-
нейного классификатора (Marcotte and Savard, 1992). В таких случаях оптимизируют