Microsoft Word Книга иис мггу 1 Print doc

16.2 Модель Хопфилда 
В модели Хопфилда (J. J. Hopfield, 1982) впервые удалось установить 
связь между нелинейными динамическими системами и нейронными 
сетями. 
Модель Хопфилда является обобщением модели многослойного 
персептрона путем добавления в нее следующих двух новых свойств: 
1.
В нейронной сети все нейроны непосредственно связаны друг с 
другом: силу связи 
i
-го нейрона с 
j
-м обозначим как 
W
ij
. 

---

158 
2.
Связи между нейронами симметричны: 
W
ij 
= 
W
ji
, сам с собой нейрон 
не связан 
W
ii 
= 0. 
Каждый нейрон может принимать лишь два состояния:
Изменение состояний возбуждения всех нейронов может происходить 
либо последовательно, либо одновременно (параллельно), но свойства сети 
Хопфилда не зависят от типа динамики. 
Взаимодействие нейронов сети описывается выражением: 
, 
где 
w
ij
элемент матрицы взаимодействий 
W
, которая состоит из весовых 
коэффициентов связей между нейронами. В эту матрицу в процессе обучения 
записывается 
М
«образов» 
— 
N
-мерных 
бинарных 
векторов: 
S
m
= (
s
m
1
, 
s
m
2
, ..., 
s
mN
) 
Рисунок 16.2 - Модель Хопфилда 
По сути сеть Хопфилда - это 
рекуррентная сеть ассоциативной 
памяти с динамикой, управляемой системой


(
1)
( )
.
x t
G Wx t





---

159 
Вместо переменных {0, 1} используются переменные {-1, 1}, и 
полагается 
0


, так что динамическая система в компонентах имеет вид: 
1
(
1)
( )
sgn
,
1..
n
i
j
j
ij
x t
t
W x
i
n













(16.1) 
где 
1
1
,
l l
ij
i j
L
l
W
n
s s




, 
1
( ,... )
l
l
l T
n
s
s
s

- эталоны памяти, 
n
– число нейронов сети, 
L
– число эталонов. 
Емкость памяти 
r
= 
L
/
n
при больших 
n
удается асимптотически оценить 
с помощью центральной предельной теоремы:
max
.
/ 4log
0.138
r
n
n


Ключавым моментом оказалась идея введения энергии сети (J. Hopfield, 
1982): 
0.5
.
n
ij i
j
ij
H
W x x
 


. 
Энергия является функцией Ляпунова для динамической системы (16.1): 
H
убывает в силу динамики сети. Кроме того, она соответствует 
Гамильтониану в статистической механике физических систем, целевой 
функции в теории оптимизации и функции приспособленности в 
эволюционной биологии. Векторы памяти, являющиеся устойчивыми 
аттракторами 
динамики, 
располагаются 
в 
локальных 
минимумах 
«энергетической» поверхности.
Сеть Хопфилда способна распознавать объекты при неполных и 
зашумленных исходных данных, однако не может этого сделать, если 
изображение смещено или повернуто относительно его исходного состояния, 
представленного в обучающей выборке. 
При распознавании «работа» сети состоит в релаксации сети из 
некоторого заданного начального состояния 
х
0
в одно из состояний 
устойчивого равновесия. Если состояние 
х
0
представляет искаженную 
версию одного из эталонов памяти и точка 
х
0
фазового пространства 
динамической системы находится в бассейне притяжения устойчивого 
аттрактора 
S
l
, то сеть релаксирует в состояние равновесия 
S
l
, что и 
соответствует «воспроизведению» эталона. 
Важной особенностью сети Хопфилда является существование 
множества дополнительных устойчивых аттракторов динамики помимо 
S
1
… 
S
L
(так называемая «посторонняя» память, или spurious states). Свойства 
посторонней памяти достаточно хорошо изучены. В частности, имеются 
строгие результаты, свидетельствующие об экспоненциальном росте числа 
«посторонних» аттракторов с ростом 
L
.

---

160 
Стремительное увеличение числа дополнительных аттракторов при 
возрастании 
L 
является
 
основной причиной малой емкости памяти сети 
Хопфилда. При возрастании 
L
происходит также быстрое снижение качества 
воспроизведения эталонов в результате сокращения бассейнов притяжения 
эталонов и уменьшения их устойчивости.