Дискретно-непрерывная математика. Кн. 0 : Алгоритмы. Ч. Генетические алгоритмы

Evolver. 
После 40 000 «тактов» функционирования 
этого алгоритма (что соответствует 800 поколениям классического 
генетического алгоритма) получено близкое к оптимальному решение. 
Однако, как показывают примеры 5.1 и 5.2, этот результат можно еще 
улучшить за счет «дообучения» с помощью градиентного алгоритма.
Примеры 5.2 и 5.3 представляют типичный способ такого гибридного 
подхода, когда генетический алгоритм применяется только для выбора 
начальной точки (в данном случае - исходного множества весов) для 
градиентного метода. В примере 5.2 генетический алгоритм 
функционировал дольше, чем в примере 5.3, поэтому начальная точка 
для метода обратного распространения ошибки в примере 5.3 
находится на большем расстоянии от точки оптимального решения, 
чем в примере 5.2. Следует обратить внимание на факт, что 
длительность «дообучения» не имеет большого значения. Градиентный 
алгоритм выполняется быстрее генетического, так как в последнем 
предполагается просмотр всей популяции возможных решений.
В примере 5.4 продемонстрирован способ обучения нейронной сети 
методом обратного распространения ошибки (программа 
BrainMaker). 
Полученный результат оказался еще более близким к оптимальному, 
чем при использовании только генетического алгоритма (пример 3.30). 
Однако необходимо подчеркнуть, что градиентный метод не всегда 
приводит к достижению ожидаемого результата, который зависит от 
начальной точки. При другом, сгенерированном случайным образом 
исходном множестве весов сеть может оказаться «необучаемой», что 
встречается 
довольно 
часто. 
Кроме 
того, 
принципиальным 
недостатком градиентных методов оказывается их «застревание» в 
локальных оптимумах. Это можно предотвратить применением 
генетического алгоритма - только для того, чтобы найти какую-либо 
точку, настолько близкую к глобальному оптимуму, что градиентный 
алгоритм при старте из этой точки не «застрянет» ни в каком 
локальном оптимуме и быстро найдет глобальное решение. 
В 
рассмотренных 
примерах 
использовался 
генетический 
(эволюционный) алгоритм программы