Я. Гудфеллоу, И. Бенджио, А. Курвилль

341
10.8. Нейронные эхо-сети
Отображение рекуррентных весов 
h
(
t
–1)
в 
h
(
t
)
и отображение входов на веса – 
x
(
t
)
в 
h
(
t
)
– 
параметры рекуррентной сети, которые труднее всего поддаются обучению. Для 
борьбы с этими трудностями было предложено (Jaeger, 2003; Maass et al., 2002; Jaeger 
and Haas, 2004; Jaeger, 2007b) задавать рекуррентные веса так, чтобы скрытые рекур-
рентные блоки запоминали историю прошлых входов, а 
обучать только выходные 
веса
. Эта идея была независимо предложена для 
эхо-сетей
(echo state networks), или 
ESN (Jaeger and Haas, 2004; Jaeger, 2007b), и 
машин неустойчивых состояний
(liquid 
state machines) (Maass et al., 2002). Обе модели похожи, но в первой используются 
скрытые блоки с непрерывными значениями, а во второй – импульсные нейроны 
(с бинарным выходом). И эхо-сети, и машины неустойчивых состояний объединены 
общим названием 
резервуарные вычисления
(reservoir computing) (Luko
š
evicius and 
Jaeger, 2009), отражающим тот факт, что скрытые блоки образуют резервуар времен-
ных признаков, которые могут запоминать различные аспекты истории входов.
В некотором смысле такие рекуррентные сети с резервуарными вычислениями 
напоминают ядерные методы: они отображают последовательность произвольной 
длины (историю входов до момента 
t
) на вектор фиксированной длины (рекуррент-
ное состояние 
h
(
t
)
), к которому можно применить линейный предиктор (обычно ли-
нейную регрессию) для решения интересующей проблемы. В таком случае критерий 
обуче ния легко спроектировать в виде выпуклой функции выходных весов. Напри-
мер, если выход получается в результате линейной регрессии скрытых входов на вы-
ходные метки, а критерий обучения – среднеквадратическая ошибка, то функция вы-
пуклая, и задачу можно надежно решить с помощью простых алгоритмов обучения 
(Jaeger, 2003).
Следовательно, возникает важный вопрос: как задать вход и рекуррентные веса, 
чтобы в состоянии рекуррентной нейронной сети можно было представить достаточ-
но полную историю? В литературе по резервуарным вычислениям предлагается рас-
сматривать рекуррентную сеть как динамическую систему и задавать входы и веса, 
так чтобы эта система была близка к устойчивости.
Первоначальная идея состояла в том, чтобы сделать собственные значения якобиа-
на функции перехода состояний близкими к 1. В разделе 8.2.5 говорилось, что важной 
характеристикой рекуррентной сети является спектр собственных значений якобиа-
нов 
J
(
t
)
= (
∂
s
(
t
)
/ 
∂
s
(
t
–1)
). Особый интерес представляет