Я. Гудфеллоу, И. Бенджио, А. Курвилль

10.12. Явная память
Интеллект нуждается в знаниях, а знания приобретаются в процессе обучения, что 
и стало стимулом для разработки крупномасштабных глубоких архитектур. Однако 
знания бывают разные. Есть знания неявные, подсознательные, с трудом выражае-
мые словами: как ходить или чем собака отличается от кошки. Другие знания явные, 
декларативные, сравнительно легко облекаемые в слова – это могут быть как зна-
ния, основанные на бытовом здравом смысле, например «кошка – это животное», так 
и весьма специфичные факты, знать которые необходимо для достижения текущих 
целей, например «собрание отдела продаж состоится в 15:00 в комнате 141».
Нейронные сети прекрасно справляются с хранением неявных знаний, но сталки-
ваются с трудностями при запоминании фактов. Методу стохастического градиент-
ного спуска нужно много раз предъявить одни и те же входные данные, чтобы он смог 
запомнить их в параметрах нейронной сети, но и тогда нельзя сказать, что эти дан-
ные хранятся точно. В работе Graves et al. (2014b) высказана гипотеза, что причина 
этого в том, что нейронным сетям недостает эквивалента 
кратковременной памяти
, 
которая позволяет людям явно хранить и оперировать фрагментами информации, от-
носящимися к достижению некоторой цели. Такие компоненты явной памяти позво-
лили бы нашим системам не только быстро и «намеренно» запоминать и извлекать 
конкретные факты, но и последовательно рассуждать о них. Потребность в нейрон-
ных сетях, которые могут обрабатывать информацию, выполняя последовательность 
шагов, на каждом из которых изменяется способ подачи входных данных в сеть, давно 
уже осознана как важная предпосылка рассуждений, а не автоматической, интуитив-
ной реакции на вход (Hinton, 1990).
Для разрешения этой проблемы в работе Weston et al. (2014) введена концепция 
се-
тей с памятью
, в которые входят набор ячеек памяти и механизм их адресации. Ори-
гинальные сети с памятью требовали инструкции от учителя по использованию ячеек 
памяти. В работе Graves et al. (2014b) введено понятие