86
сложность нейронной сети. Выбор удаления нейрона или слоя зависит от
подвижности изменённой структуры. Обычно удаляют нейрон, но, если
это приводит к малой эффективности структуры, то удаляют слой, так как
дальнейшее удаление нейронов все равно приведёт к малой подвижности
структуры. В результате алгоритм отмечает все малоэффективные и тупи-
ковые структуры как неперспективные. Эти
структуры будут объяснены
позже.
Процесс генерации можно выразить:
Генерация структуры:
Создать структуру удалением нейрона
If nonviable then Создать структуру удалением слоя.
If созданная структура перспективная, отметить её И выйти.
Создать структуру добавлением нейрона.
Создать структуру добавлением слоя.
Отметить наиболее перспективную структуру.
Чтобы создать новую структуру, старая изменяется как указано вы-
ше, а затем алгоритм вступает в "стадию сна", где производится ряд повто-
рений, когда новая структура обучается без оценки действия до обнаруже-
ния улучшения поведения или его ухудшения. Новая структура не дейст-
вует, если достигнуто максимальное количество "циклов сна". Если струк-
тура не
действует, она отмечается как неперспективная, в противном слу-
чае оценивается её потенциал. Создание новой структуры может быть
обобщено:
87
Создание новой структуры:
If новая структура неподвижна или из разряда тупиковых отметьте её как
неперспективную.
Изменить старую структуру.
Вступить в стадию сна.
Repeat
Выполните бездействующую обучающуюся итерацию.
If
E
new
≤
Е
old
Выйдите с успехом.
If
E
st
≤
Е
st
–1
Выйдите с отказом.
Until число итераций фазы сна меньше максимального числа.
If достигнут максимум итераций фазы сна – структура ошибочна.
Выход из фазы сна.
Если замечена неудача, структура считается неперспективной.
Иначе оцените перспективность структуры.
Вновь произведённая структура
считается перспективной, если
структуре удается достичь значительного уменьшения ошибок по сравне-
нию со старой. Формально, перспективная структура может быть опреде-
лена по формуле
1
or
,
W
av
W
av
old
nev
old
t
t
E
E
E
E
DR E
и
0 <
DR
< 1 ,
где
t
-1 – первая итерация после фазы сна;
E
new
– ошибка новой структуры после итерации
t
;
DR
– коэффициент уменьшения ошибки.
Процесс добавления предполагает выбор лучшей из двух самых пер-
спективных структур. Первая структура создается
добавлением нейрона к
старой, а во второй добавляется слой. Метод, используемый здесь, главным
образом основан на уровне снижения функции оценки каждой структуры.
88
Однако, если две структуры являются перспективными, более предпочти-
тельна структура с добавленным нейроном, потому что менее сложна.
Если только одна структура перспективна,
она отмечается сразу без
дальнейших сравнений с другой структурой [28÷35]. Как поступать в ту-
пиковой ситуации (в случае, если нет перспективных структур) будет ука-
зано ниже.
Do'stlaringiz bilan baham: