Я. Гудфеллоу, И. Бенджио, А. Курвилль

y
| 
x
), управляемого функцией 
ω
= 
f
(
x
; 
θ
). Тогда отри-
цательное логарифмическое правдоподобие –log 
p
(
y
; 
ω
(
x
)) дает функцию стоимости 
с подходящими членами, необходимыми, чтобы процедура оптимизации итеративно 
находила дисперсию. В простом случае, когда стандартное отклонение не зависит от 
входных данных, мы можем ввести в сеть новый параметр, который непосредственно 
копируется в 
ω
. Этот новый параметр может совпадать с 
σ
, или называться 
v
и пред-
ставлять 
σ
2
, или называться 
β
и представлять 1/
σ
2
в зависимости от того, как мы хотим 
параметризовать распределение. Возможно, мы хотим, чтобы модель предсказывала 
разную величину дисперсии 
y
для различных значений 
x
. Такая модель называется 
гетероскедастической
. В этом случае нужно просто описать дисперсию как одно из 
значений, порождаемых функцией 
f
(
x
; 
θ
). Часто для этой цели выражают нормальное 
распределение с помощью точности, а не дисперсии, как в уравнении (3.22). В много-
мерном случае чаще всего используют диагональную матрицу точности
diag(
β
). 
(6.34)
Такое выражение хорошо сочетается с градиентным спуском, потому что формула 
логарифмического правдоподобия нормального распределения, параметризованного 
β
, содержит только умножение на 
β
i
и прибавление log 
β
i
. Для операций умножения, 
сложения и логарифмирования градиент ведет себя хорошо. Для сравнения: при па-
раметризации в терминах дисперсии пришлось бы использовать деление. Функция 
деления становится произвольно крутой в окрестности нуля. Конечно, большие гра-
диенты могут помочь обучению, но если они произвольно велики, то обычно воз-
никает неустойчивость. При параметризации в терминах стандартного отклонения 
логарифмическое правдоподобие включало бы деление и возведение в квадрат. По-
следняя операция ведет к обращению градиента в нуль в окрестности нуля, что за-
трудняет обучение возведенных в квадрат параметров. Но что бы мы ни использова-

---

Обучение градиентными методами 

167
ли – стандартное отклонение, дисперсию или точность, необходимо гарантировать, 
что ковариационная матрица нормального распределения положительно определен-
ная. Поскольку собственные значения матрицы точности обратны собственным зна-
чениям ковариационной матрицы, это условие эквивалентно условию положитель-
ной определенности матрицы точности. Если использовать диагональную матрицу 
или единичную матрицу, умноженную на скаляр, то единственное условие, которое 
необходимо обеспечить для выхода модели, – положительность. Если обозначить 
a
исходную активацию модели, используемой для определения диагональной матрицы 
точности, то для получения положительного вектора точности можно взять функ-
цию softplus: