Я. Гудфеллоу, И. Бенджио, А. Курвилль

8.1. Чем обучение отличается 
от чистой оптимизации
Алгоритмы оптимизации, используемые для обучения глубоких моделей, отличают-
ся от традиционных алгоритмов оптимизации в нескольких отношениях. Машинное 
обучение обычно работает не напрямую. В большинстве ситуаций нас интересует не-

---

238 

 
Оптимизация в обучении глубоких моделей
которая мера качества 
P
, которая определена относительно тестового набора и может 
оказаться вычислительно неприступной. Поэтому мы оптимизируем 
P
косвенно. Мы 
уменьшаем другую функцию стоимости 
J
(
θ
) в надежде, что при этом улучшится и 
P
. 
Это резко отличается от чистой оптимизации, где минимизация 
J
и есть конечная 
цель. Кроме того, алгоритмы оптимизации для обучения глубоких моделей обычно 
включают специализации для конкретной структуры целевых функций.
Типичную функцию стоимости можно представить в виде среднего по обучающе-
му набору:
J
(
θ
) = 
𝔼
(
x
, y)
∼
p
�
data
L
(
f
(
x
; 
θ
), 
y
), 
(8.1)
где 
L
– функция потерь на одном примере, 
f
(
x
; 
θ
) – предсказанный выход для входа 
x
, а 
p
�
data
– эмпирическое распределение. В случае обучения с учителем 
y
– ассоцииро-
ванная с входом метка. В этой главе мы будем рассматривать нерегуляризированное 
обучение с учителем, когда аргументами 
L
являются 
f
(