Я. Гудфеллоу, И. Бенджио, А. Курвилль

адресацию по содержимо-
му
, когда вес, используемый для чтения или записи ячейки, является функцией этой 
ячейки. Векторнозначные ячейки позволяют извлекать содержимое памяти целиком, 
если мы в состоянии сгенерировать образец, которому соответствуют некоторые, но 
не все элементы. Тут можно провести аналогию с тем, как человек вспоминает текст 
песни, услышав несколько слов. Инструкцию чтения на основе содержимого мож-
но сравнить с указанием «извлечь слова песни, в которой есть припев “We all live in 
a yellow submarine”». Адресация по содержимому более полезна, когда извлекаемые 
объекты велики, – если бы каждая буква текста песни хранилась в отдельной ячейке 
памяти, мы не смогли бы найти их таким способом. Для сравнения – 
позиционная 
адресация
не допускает ссылки на содержимое памяти. Инструкцию позиционной 
адресации можно было бы сформулировать так: «Извлечь слова песни по адресу 
347». Позиционная адресация часто является вполне разумным механизмом, даже 
когда размер ячеек памяти мал.
Если содержимое ячейки памяти копируется (а не забывается) на большинстве 
временных шагов, то хранящуюся в ней информацию можно распространять вперед 
во времени, а градиенты – назад во времени, не опасаясь ни исчезновения, ни взрыв-
ного роста.

---

Явная память 

353
Явная память иллюстрируется на рис. 10.18, где «нейронная сеть для решения за-
дачи» сопряжена с памятью. Нейронная сеть может быть как прямого распростра-
нения, так и рекуррентной, но система в целом является рекуррентной сетью. Сеть 
для решения задачи может выбирать, по каким адресам в памяти производить чтение 
или запись. Похоже, что явная память позволяет модели обучаться таким задачам, 
которые недоступны обыкновенным РНС или рекуррентным LSTM-сетям. Возмож-
но, что одной из причин является тот факт, что информацию и градиенты можно рас-
пространять (соответственно вперед и назад во времени) в течение очень длительных 
промежутков времени.
Ячейки памяти
Механизм 
записи
Механизм 
чтения
Сеть для решения задачи,
управляющая памятью
Рис. 10.18 

Схема сети с явной памятью, отражающая некоторые клю-
чевые элементы проекта нейронной машины Тьюринга. На этом рисунке 
«репрезентативная» часть модели («сеть для решения задачи», в данном 
случае рекуррентная сеть внизу) отделена от «памяти» (набора ячеек), в ко-
торой хранятся факты. Сеть для решения задачи обучается «управлять» 
памятью, т. е. решать, какие ячейки читать и записывать (с помощью меха-
низмов чтения и записи, обозначенные жирными стрелками, которые ука-
зывают на адреса)
В качестве альтернативы обратному распространению посредством взвешенно-
го среднего ячеек памяти мы можем интерпретировать коэффициенты адресации 
памяти как вероятности и стохастически читать только одну ячейку (Zaremba and 
Sutskever, 2015). Для оптимизации моделей, принимающих дискретные решения, 
нужны специальные алгоритмы, описанные в разделе 20.9.1. В настоящее время 
обуче ние стохастических архитектур, принимающих дискретные решения, остается 
более трудным делом, чем обучение детерминированных алгоритмов, принимающих 
мягкие решения.
Не важно, является ли механизм выбора адреса мягким (допускающим обратное 
распространение) или стохастическим и жестким, по своей форме он идентичен