Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
*
= 
f
(
x
) = 
p
(
h
| 
x
). 
(13.15)
В сочетании с формулами (13.13) и (13.12) получаем следующую задачу оптими-
зации:
p
(
h
| 
x
) 
(13.16)
= 
log 
p
(
h
| 
x
) 
(13.17)
= 
λ
||
h
||
1
+ 
β
||
x
– 
Wh
||
2
2
, 
(13.18)
где мы опустили члены, не зависящие от 
h
, и для простоты поделили на положитель-
ные масштабные коэффициенты.
Поскольку для 
h
используется норма 
L
1
, эта процедура даст разреженный вектор 
h
*
(см. раздел 7.1.2).
Чтобы обучить модель, а не просто произвести вывод, мы чередуем минимизацию 
по 
h
с минимизацией по 
W
. Здесь 
β
рассматривается как гиперпараметр. Обычно ему 
присваивают значение 1, потому что в этой задаче оптимизации у него общая роль с 
λ
, 
а заводить два гиперпараметра нет смысла. В принципе, можно было бы рассматри-
вать 
β
как параметр модели и обучить его. В нашем изложении отброшены некоторые 
члены, не зависящие от 
h
, но зависящие от 
β
. Если мы хотим обучить 
β
, то эти члены 
следует включить, иначе 
β
выродится в 0.
Не во всех подходах к разреженному кодированию явно строятся 
p
(
h
) и 
p
(