Я. Гудфеллоу, И. Бенджио, А. Курвилль

K
, применяемых к многоканальному изображению 
V
, опреде-

---

Варианты базовой функции свертки 

303
ленная функцией 
c
(
K
, 
V
, 
s
), как в формуле (9.8). Предположим, что требуется ми-
нимизировать некую функцию потерь 
J
(
V
, 
K
). На этапе прямого распространения 
нам нужно будет использовать саму функцию 
c
, чтобы вывести 
Z
, который затем 
распространяется по остальной части сети и применяется для вычисления функции 
стои мости 
J
. На этапе обратного распространения мы получим тензор 
G
– такой, что
G
i;j;k
= (
∂
/
∂
Z
i
, 
j
, 
k
)
J
(
V
, 
K
).
Для обучения сети нам потребуется вычислить производные по весам в ядре. Для 
этого можно воспользоваться функцией
(9.11)
Если это не нижний слой сети, то потребуется также вычислить градиент по 
V
для 
обратного распространения ошибки. Для этого воспользуемся функцией
(9.12)
(9.13)
Автокодировщики, описанные в главе 14, – это сети прямого распространения, 
обучен ные копировать вход в выход. Простой пример дает метод главных компонент 
PCA, который копирует свой вход 
x
в приближенную реконструкцию 
r
, применяя 
функцию 
W
⏉
Wx
. В более общих автокодировщиках тоже часто используется умно-
жение на транспонированную матрицу весов, как в PCA. Чтобы превратить такие 
модели в сверточные, мы можем воспользоваться функцией 
h
, которая транспони-
рует операцию свертки. Пусть имеются скрытые блоки