Я. Гудфеллоу, И. Бенджио, А. Курвилль

160 

 
Глубокие сети прямого распространения 
Первый результат заключается в том, что решение задачи оптимизации
f 
*
= 
𝔼
x
, 
y
∼
p
data
||
y
– 
f
(
x
)||
2
(6.14)
имеет вид
f 
*
(
x
) = 
𝔼
y
∼
p
data
(
y
|
x
)
[
y
] 
(6.15)
при условии, что эта функция принадлежит классу, по которому мы производим оп-
тимизацию. Иными словами, если бы мы могли обучать на бесконечно большом ко-
личестве примеров, выбранных из истинного порождающего распределения данных, 
то минимизация среднеквадратической ошибки дала бы функцию, которая предска-
зывает среднее значение 
y
для каждого значения 
x
.
Разные функции стоимости дают разные статистики. Второй результат примене-
ния вариационного исчисления состоит в том, что уравнение
f
*
= 
𝔼
x
, 
y
∼
p
data
|| 
y
– 
f
(
x
)||
1
(6.16)
описывает функцию, которая предсказывает медианное значение 
y
для каждого 
x
, 
при условии что такую функцию можно описать семейством функций, по которому 
производится оптимизация. Эта функция стоимости обычно называется 
средней аб-
солютной ошибкой
.
К сожалению, среднеквадратическая ошибка и средняя абсолютная ошибка часто 
дают плохие результаты в сочетании с градиентной оптимизацией. Некоторые выход-
ные блоки с насыщением при использовании таких функций стоимости имеют очень 
малые градиенты. И это одна из причин, почему перекрестная энтропия в качестве 
функции стоимости более популярна, чем среднеквадратическая ошибка и средняя 
абсолютная ошибка, даже в тех случаях, когда нет необходимости оценивать все рас-
пределение 
p
(