Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
= 
g
(
W
⏉
x
+ 
b
). Его можно заменить двумя сло-
ями, в одном из которых используется матрица весов 
U
, а в другом – матрица весов 
V
. Если в первом слое нет функции активации, то мы, по сути дела, разложили на 
множители матрицу весов исходного слоя, основанного на 
W
. Подход, основанный 
на разложении в произведение, состоит в том, чтобы вычислить 
h
= 
g
(
V
⏉
U
⏉
x
+ 
b
). 
Если 
U
порождает 
q
выходов, то 
U
и 
V
вместе содержат только (
n
+ 
p
)
q
параметров, 
тогда как 
W
– 
np
параметров. Для малых 
q
экономия параметров может быть суще-
ственной. Платой за это является ограничение – линейное преобразование должно 
иметь низкий ранг, но таких низкоранговых связей часто достаточно. Таким образом, 
линейные скрытые блоки предлагают эффективный способ уменьшить число пара-
метров сети.
Блоки softmax – еще один вид блоков, часто используемых на выходе (см. раз-
дел 6.2.2.3), но иногда они применяются и в скрытых слоях. Такие блоки естественно 
представляют распределение вероятности дискретной переменной, принимающей 
k
значений, поэтому они могут играть роль своего рода переключателей. Обычно такие 
скрытые блоки применяются только в более сложных архитектурах, которые явно 
обучаются манипулировать памятью (см. раздел 10.12).
Из других довольно распространенных скрытых блоков упомянем следующие: