|
81
3.2. Модель нейросетевой структуры для
оптимизации функционирования
Предлагается алгоритм, основанный на процессе обратного воспро-
изводства, который динамически развивает структуру наращиваемых мно-
гослойных нейронных сетей и демонстрирует их потенциал в плане при-
менения для управления. Данный алгоритм содержит процесс "генериро-
вания и испытания" и оценивает действие используемой структуры, а так-
же изменяет её в соответствии с используемыми альтернативами и отбира-
ет наиболее перспективную. Алгоритм изменяет структуру нейронных се-
тей путём добавления или удаления нейронов или слоёв. Эффективность
алгоритма продемонстрирована при испытании в нескольких опытах с
многообещающими результатами.
Представленная нейронная сеть является многослойной наращивае-
мой нейронная сетью, основанной на алгоритме обратного распростране-
ния (Румельхарт, Хинтон, Уильяме, 1986 г.).
Функция активации нейрона
j
может быть выражена
2
1
1
x
f x
e
(3.8)
и
O +
,
ji
i
j
j
x
W
(3.9)
где О
i
– выход части
i
;
W
j i
– вес между частью
i
и частью
j
;
θ
j
– пороговая величина части
j.
Производная нейронной сети представлена в формуле
O
NN
=
N
(
W
,
I
) .
(3.10)
Формулы (3.11÷3.13) отображают
n
-слойную нейронную сеть с сиг-
82
мовидной функцией:
N
(
W
,
I
) =
F
(
W
n
,
Z
n
–1
) ;
(3.11)
Z
n
–1
=
F
(
W
n
–1
,
Z
n
–2
) ;
(3.12)
Z
1
=
F
(
W
1
,
I
) ,
(3.13)
где
I
– входной набор;
W
1
– матрица весовых коэффициентов между входным и выходным
слоями;
W
n
–1
– матрица весовых коэффициентов между
n
– 2 и
n
– 1 слоями;
W
n
;
n
–1
– матрица весовых коэффициентов между
n
– 1 и выходным
слоем.
Обобщённый алгоритм правила дельта (Румельхарт, 1986 г.) исполь-
зуется для обновления веса нейронные сети для того, чтобы минимизиро-
вать функцию стоимости формулы (3.14) и (3.15).
2
1
2
+
,
pk
pk
k
E
t
o
(3.14)
где
t
pk
и
о
рк
– желаемая и полученная величины, соответственно, выхода
k
,
2
1
2
+
.
k
k
k
E
t
o
(3.15)
Полученная конвергенция (сходимость) выражается формулами
(3.16÷3.19).
1
+
1 ;
ji
ji
ji
w
t
w
t
w
t
(3.16)
1 =
;
ji
j
i
w
t
O
(3.17)
1
,
j
k
k
j
j
t
o
O
O
(3.18)
83
если
j
– выходной слой, и
1
,
j
j
j
k
kj
k
O
O
w
(3.19)
если
j
– внутренний слой (
k
– преуспевающий уровень).
Вышеупомянутые уравнения показываются, что BP перемещает веса
в направлении максимального уменьшения, пока
E
min
не достигнут, когда
значение
0
W
E
, где
2
,
W
i
i
E
w
(3.20)
и индекс
i
охватывает все веса в сети.
Алгоритм
Представленный алгоритм является конструктивным алгоритмом:
изучение начинается с малой структуры, действие оценивается после каж-
дой итерации и структура изменяется, если она не удовлетворяет показате-
лям и критериям.
Функция оценки определена в
х
:
2
;
W
av
i
i
E
w
(3.21)
,
i
p
i
i av
p
w
w
P
(3.22)
где
P
– число представлений в обучающем наборе; (Δ
w
i
) – инкрементное
изменение веса
k
при обучении представления
p
.
В BP алгоритме изменение весов выполняются после каждого обу-
чающего набора [32, 36÷51].
84
Изменение структуры
Как сказано выше, динамические алгоритмы не ограничиваются из-
менением значений синоптических весов. Они также изменяют структуру
сети. В стратегии структура может быть изменена добавлением или удале-
нием нейронов/слоёв. В начале нейрон добавляется к нейросети, путём
вживления его после последнего нейрона в последний скрытый слой и со-
единеняется с нейронами в предыдущем слое и последующем слое через
новые синоптические веса. Далее, нейрон удаляется смещением последне-
го нейрона из последнего скрытого слоя и разъединением всех его весов.
Затем, слой добавляется, путём размещения его последним скрытым слоем
и выходным слоем, перемещая все старые связи между ними, но соединяя
новый слой с двумя другими через новые связи.
Несмотря на то, что вживление слишком большого количества ней-
ронов в этот слой может привести к перенасыщению, использование очень
малого числа нейронов может закончится "эффектом бутылочного гор-
лышка" (Хект-Нильсен, 1989 г.). Количество нейронов в новом слое выра-
жается формулой
0
int
,
2
h
nev
N
N
N
(3.23)
где
N
0
и
N
h
число нейронов в выходном и последнем скрытом слоях соот-
ветственно [22÷27, 58].
И, наконец, чтобы удалить слой, последний скрытый слой удаляется
со всеми его связями, а новые веса соединяются между предыдущим и по-
следующим слоями.
Do'stlaringiz bilan baham: |
