Я. Гудфеллоу, И. Бенджио, А. Курвилль

H
в том же формате, что и 
Z
; 
определим преобразование реконструкции в виде
R
= 
h
(
K
, 
H
, 
s
). 
(9.14)
Для обучения автокодировщика получим градиент относительно 
R
в виде тензо-
ра 
E
. Для обучения декодера нужно получить градиент относительно 
K
. Он имеет 
вид 
g
(
H
, 
E
, 
s
). Для обучения кодера нужен градиент относительно 
H
. Он имеет вид 
c
(
K
, 
E
, 
s
). Можно также продифференцировать 
g
, используя 
c
и 
h
, но эти операции не 
нужны для алгоритма обратного распространения в стандартных архитектурах сети.
В общем случае для преобразования входов в выходы в сверточном слое исполь-
зуются не только линейные операции. К каждому выходу еще прибавляется смеще-
ние, и лишь потом применяется нелинейность. Тогда возникает вопрос, как разделить 
параметры между смещениями. Для локально связных слоев естественно приписать 
каждому блоку свое смещение, а для периодической свертки – разделять смещения 
с таким же периодом, как и ядра. В сверточных слоях, как правило, используют одно 
смещение на выходной канал и разделяют его между всеми позициями в пределах 
каждой выходной карты. Но если размер входа известен и фиксирован, то можно так-
же обучить отдельные смещения в каждой позиции выходной карты. Это несколько 
снижает статистическую эффективность модели, но позволяет ей корректировать 
различия между статистиками изображения в разных позициях. Например, если при-
меняется неявное дополнение нулями, то детекторные блоки на границе изображения 
получают меньше информации от входов и могут нуждаться в больших смещениях.

---