Я. Гудфеллоу, И. Бенджио, А. Курвилль

c
, то вектор смещений 
b
можно найти из уравнения softmax(
b
) = 
c
. Это 
относится не только к классификаторам, но и к моделям, с которыми мы встре-
тимся в части III, например автокодировщикам и машинам Больцмана. В этих 
моделях имеются слои, выход которых должен быть похож на вход 
x
, и было бы 
очень полезно инициализировать смещения таких слоев в соответствии с мар-
гинальным распределением 
x
.
 

Иногда мы хотим выбрать смещение так, чтобы предотвратить слишком силь-
ное насыщение на стадии инициализации. Например, мы можем задать смеще-
ние скрытого ReLU-блока равным 0.1, а не 0, чтобы избежать его насыщения. 
Но этот подход несовместим со схемами инициализации весов, которые не 
ожидают сильного входного сигнала от смещений. Например, его не рекомен-
дуется использовать вместе с инициализацией случайным блужданием (Sus-
sillo, 2014).
 

Иногда один блок управляет тем, могут ли другие блоки принимать участие 
в вычислении функции. В таких ситуациях имеются блок с выходом 
u
и другой 
блок 
h
∈
[0, 1], они перемножаются, и на выходе получается 
uh
. Мы можем рас-
сматривать 
h
как вентиль, определяющий, будет ли 
uh
≈
u
или 
uh
≈
0. Тогда мы 

---

Алгоритмы с адаптивной скоростью обучения 

263
хотим на этапе инициализации задать смещение для 
h
, так чтобы 
h
≈
1 большую 
часть времени. В противном случае у 
u
не будет возможности обучиться. На-
пример, в работе Jozefowicz et al. (2015) рекомендуется устанавливать смеще-
ние 1 для вентиля забывания в модели LSTM, описанной в разделе 10.10.
Еще один распространенный параметр – дисперсия, или точность. Например, мы 
можем выполнить линейную регрессию с оценкой условной дисперсии с помощью 
модели 
p
(
y
|