Я. Гудфеллоу, И. Бенджио, А. Курвилль

541
скрытых блоков на основе изменения значений соседних скрытых блоков. Вход всег-
да отправляет фиксированное сообщение 
v
⏉
β
W
скрытым блокам, но скрытые блоки 
постоянно обновляют сообщения, которыми обмениваются между собой. Точнее го-
воря, два блока 
h
ˆ
i
и 
h
ˆ
j
тормозят друг друга, когда их векторы весов совмещены. Это 
форма конкуренции – из двух скрытых блоков, объясняющих вход, активным раз-
решено оставаться только тому, который дает лучшее объяснение. Наличие такой 
конкуренции – это попытка аппроксимации среднего поля уловить оправдывающие 
взаи модействия в апостериорном распределении бинарного разреженного кодирова-
ния. На самом деле эффект оправдания должен приводить к многомодальному апос-
териорному распределению, поэтому если мы будем выбирать примеры из апосте-
риорного распределения, то в одних будет активен один блок, в других – другой, но 
найдется очень мало примеров, в которых активны оба блока. К сожалению, оправ-
дывающие взаимодействия невозможно смоделировать факторным распределением 
q
, используемым в случае среднего поля, поэтому аппроксимация среднего поля вы-
нуждена назначать модели одну моду. Это пример поведения, показанного на рис. 3.6.
Мы можем переписать уравнение (19.44) в эквивалентной форме, позволяющей 
прийти к дополнительным заключениям:
(19.45)
В этой формулировке видно, что вход на каждом шаге состоит из 
v
– 
Σ
j
≠
i
W
:, 
j 
h
ˆ
i
, а не 
v
. Поэтому можно считать, что блок 
i
пытается закодировать остаточную ошибку в 
v
при известных кодах других блоков. Таким образом, разреженное кодирование мож-
но интерпретировать как итеративный автокодировщик, который повторно кодиру-
ет и декодирует свой вход, пытаясь исправить ошибки реконструкции после каждой 
итерации.
В этом примере мы вывели правило обновления по одному блоку за раз. Было бы 
хорошо одновременно обновлять несколько блоков. Некоторые графические модели, 
в т. ч. глубокие машины Больцмана, структурированы так, что можно одновремен-
но находить много элементов 
h
ˆ. К сожалению, бинарное разреженное кодирование 
не допускает такого блочного обновления. Вместо этого для блочного обновления 
можно использовать эвристическую технику