Я. Гудфеллоу, И. Бенджио, А. Курвилль

6.2.1.2. Обучение условных статистик
Вместо обучения полного распределения вероятности 
p
(
y
| 
x
; 
θ
) мы часто хотим 
обучить только одну условную статистику 
y
при заданном 
x
.
Например, возможно, мы хотим использовать некоторый предиктор 
f
(
x
; 
θ
) для 
предсказания среднего значения 
y
.
Если нейронная сеть достаточно мощная, то можно считать, что она в состоянии 
представить любую функцию 
f
из широкого класса функций, связанного только та-
кими условиями, как непрерывность и ограниченность, а не конкретной параметри-
ческой формой. В таком случае функцию стоимости можно рассматривать как 
функ-
ционал
, а не просто функцию. Функционалом называется отображение множества 
функций во множество вещественных чисел. Процесс обучения можно рассматри-
вать как выбор функции, а не набора параметров. Можно спроектировать функцио-
нал стоимости, так чтобы он принимал минимум в некоторой желательной для нас 
функции, например так чтобы минимум достигался в функции, которая отобража-
ет 
x
на ожидаемое значение 
y
при заданном 
x
. Для решения задачи оптимизации на 
множестве функций имеется специальный математический аппарат – 
вариационное 
исчисление
, описываемый в разделе 19.4.2. Для понимания материала этой главы 
знакомство с вариационным исчислением необязательно. Пока что достаточно по-
нимать, что вариационное исчисление можно использовать для вывода двух сформу-
лированных ниже результатов.

---