Я. Гудфеллоу, И. Бенджио, А. Курвилль

правилом вывода с масштаби-
рованием весов
. Пока не существует теоретического доказательства точности этого 

---

228 

 
Регуляризация в глубоком обучении 
приближенного правила вывода в глубоких нелинейных сетях, но его эмпирическое 
поведение очень хорошее.
Поскольку обычно принимается вероятность включения 
1
/
2
, то правило масшта-
бирования весов сводится к делению весов пополам в конце обучения, после чего мо-
дель используется как обычно. Другой способ получить тот же результат – умножать 
состояния блоков на 2 на этапе обучения. Как бы то ни было, цель состоит в том, что-
бы ожидаемый суммарный вход в блок на этапе тестирования был приблизительно 
равен ожидаемому суммарному входу в тот же блок на этапе обучения, несмотря на 
то что в среднем половина блоков во время обучения отсутствует.
Для многих классов моделей, не имеющих нелинейных скрытых блоков, правило 
вывода с масштабированием весов является точным. В качестве простого примера 
рассмотрим регрессионный классификатор с функцией softmax и 
n
входными пере-
менными, представленными вектором 
v
:
P
(y = 
y
| 
v
) = softmax (
W
⏉
v
+ 
b
)
y
. 
(7.56)
Мы можем проиндексировать это семейство моделей с помощью поэлементного 
умножения входа на двоичный вектор 
d
:
P
(y = 
y
| 
v
; 
d
) = softmax (
W
⏉
(
d
⊙
v
+ 
b
)
y
. 
(7.57)
Ансамблевый предиктор определяется путем нормировки среднего геометриче-
ского предсказаний всех членов ансамбля:
, 
(7.58)
где
(7.59)
Чтобы убедиться, что правило масштабирования весов точное, упростим 
P
~
ensemble
:
(7.60)
(7.61)
(7.62)
(7.63)
Поскольку 
P
~ будет подвергнуто нормировке, мы можем игнорировать множители, 
не зависящие от 
y
:
(7.64)

---

Прореживание 
