В современных системах автоматизированного проектирования ши

85
Стратегия
Модель предполагает постоянную оценку действия сети и генериро-
вание наиболее перспективных структур после обнаружения деградации 
поведения. Операция продолжается до наступления конвергенции, кото-
рую можно выразить: 
Начать обучение с малой структуры.
Repeat 
Подсчитать
W
av
E

после каждой итерации
If
1
W
W
t
E
E


 
then 
генерировать новую более перспективную структуру.
Продолжить процесс обучения.
Until ошибочная конвергенция. 
Создание структуры
Чтобы создать новую структуру, нужно использовать несколько 
структур, изменяя структуру одной рабочей сети и выбирая самую пер-
спективную. Этот процесс состоит из двух фаз: фаза удаления и фаза до-
бавления. Сначала структура изменяется удалением нейрона или слоя. Ес-
ли полученная структура перспективна, отметить её. В противном случае 
выполняется фаза добавления, а в ней используются две структуры: первая 
получается добавлением нейрона, вторая – добавлением слоя. Алгоритм 
выбирает наиболее перспективную структуру. Фаза удаления производит-
ся сначала, если преобладают малые структуры, которые уменьшают 

---

86
сложность нейронной сети. Выбор удаления нейрона или слоя зависит от 
подвижности изменённой структуры. Обычно удаляют нейрон, но, если 
это приводит к малой эффективности структуры, то удаляют слой, так как 
дальнейшее удаление нейронов все равно приведёт к малой подвижности 
структуры. В результате алгоритм отмечает все малоэффективные и тупи-
ковые структуры как неперспективные. Эти структуры будут объяснены 
позже.
Процесс генерации можно выразить: 
Генерация структуры:
Создать структуру удалением нейрона
If nonviable then Создать структуру удалением слоя.
If созданная структура перспективная, отметить её И выйти.
Создать структуру добавлением нейрона.
Создать структуру добавлением слоя.
Отметить наиболее перспективную структуру. 
Чтобы создать новую структуру, старая изменяется как указано вы-
ше, а затем алгоритм вступает в "стадию сна", где производится ряд повто-
рений, когда новая структура обучается без оценки действия до обнаруже-
ния улучшения поведения или его ухудшения. Новая структура не дейст-
вует, если достигнуто максимальное количество "циклов сна". Если струк-
тура не действует, она отмечается как неперспективная, в противном слу-
чае оценивается её потенциал. Создание новой структуры может быть 
обобщено: 

---

87
Создание новой структуры: 
If новая структура неподвижна или из разряда тупиковых отметьте её как 
неперспективную. 
Изменить старую структуру. 
Вступить в стадию сна. 
Repeat 
Выполните бездействующую обучающуюся итерацию. 
If
E
new
≤ 
Е
old
Выйдите с успехом. 
If
E
st
≤ 
Е
st
–1
Выйдите с отказом.
Until число итераций фазы сна меньше максимального числа. 
If достигнут максимум итераций фазы сна – структура ошибочна. 
Выход из фазы сна. 
Если замечена неудача, структура считается неперспективной. 
Иначе оцените перспективность структуры. 
Вновь произведённая структура считается перспективной, если 
структуре удается достичь значительного уменьшения ошибок по сравне-
нию со старой. Формально, перспективная структура может быть опреде-
лена по формуле 

 

1
or 
,
W
av
W
av
old
nev
old
t
t
E
E
E
E
DR E


 



и
0 < 
DR
< 1 , 
где
t
-1 – первая итерация после фазы сна;
E
new
 
– ошибка новой структуры после итерации 
t
;
DR
– коэффициент уменьшения ошибки. 
Процесс добавления предполагает выбор лучшей из двух самых пер-
спективных структур. Первая структура создается добавлением нейрона к 
старой, а во второй добавляется слой. Метод, используемый здесь, главным 
образом основан на уровне снижения функции оценки каждой структуры. 

---

88
Однако, если две структуры являются перспективными, более предпочти-
тельна структура с добавленным нейроном, потому что менее сложна. 
Если только одна структура перспективна, она отмечается сразу без 
дальнейших сравнений с другой структурой [28÷35]. Как поступать в ту-
пиковой ситуации (в случае, если нет перспективных структур) будет ука-
зано ниже.