Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ
) = –
𝔼
x
, 
y
∼
p
�
data
log 
p
model
(
y
| 
x
). 
(6.12)
Конкретная форма функции стоимости изменяется от модели к модели в зависи-
мости от формы log 
p
model
. Раскрытие этой формулы обычно дает члены, которые не 
зависят от параметров модели и могут быть отброшены. Например, в разделе 5.5.1 мы 
видели, что если 
p
model
(
y
| 
x
) = 
𝒩
(
y
; 
f
(
x
; 
θ
), 
I
), то можно свести стоимость к среднеквад-
ратической ошибке
J
(
θ
) = 
1
/
2
𝔼
x
, 
y
∼
p
�
data
||
y
– 
f
(
x
; 
θ
)||
2
+ const 
(6.13)
с точностью до масштабного коэффициента 
1
/
2
и члена, не зависящего от 
θ
. Отбро-
шенная константа включает дисперсию нормального распределения, которую мы 
в данном случае решили не делать параметром. Ранее мы видели, что для линейной 
модели имеет место эквивалентность между оценкой максимального правдоподобия 
выходного распределения и минимизацией среднеквадратической ошибки, но на са-
мом деле эта эквивалентность не зависит от функции 
f
(
x
; 
θ
), используемой для пред-
сказания среднего значения нормального распределения.
Преимущество такого подхода – вывода функции стоимости из оценки максималь-
ного правдоподобия – в том, что отпадает необходимость проектировать функцию 

---

Обучение градиентными методами 
