Дискретно-непрерывная математика. Кн. 0 : Алгоритмы. Ч. Генетические алгоритмы

Схема косвенного кодирования 
- это способ сокращения длины 
описания связей, который заключается в кодировании только наиболее 
важных свойств, но не каждой связи нейронной сети. По этой причине 
заметным достоинством схемы косвенного кодирования становится 
компактное представление связей. Такая схема выглядит более 
обоснованной с биологической точки зрения. Согласно современной 
нейрологии, невозможно прямо и независимо описать закодированной 
в хромосомах генетической информацией всю нервную систему. Такой 
вывод следует, например, из факта, что генотип человека состоит из 
гораздо меньшего количества генов, чем число нейронов в его мозге.
Известны различные методы косвенного кодирования.
Второй этап эволюционного проектирования архитектуры нейронной 
сети состоит (в соответствии с типовым циклом эволюции) из 
следующих шагов:
1) Декодирование каждой особи текущей популяции для описания 
архитектуры нейронной сети.
2) Обучение каждой нейронной сети с архитектурой, полученной на 
первом шаге, с помощью заранее заданного правила (некоторые его 
параметры могут адаптивно уточняться в процессе обучения). 
Обучение должно начинаться при различных случайно выбираемых 
начальных значениях весов и (при необходимости) параметров правила 
обучения.
3) Оценивание приспособленности каждой особи (закодированной 
архитектуры) по достигнутым результатам обучения, т.е. по
наименьшей целой среднеквадратичной погрешности обучения либо на 
основе тестирования, если наибольший интерес вызывает способность 
к обобщению, наименьшая длительность обучения или упрощение 
архитектуры (например, минимизация количества нейронов и связей 
между ними).
4) Репродукция особей с вероятностью, соответствующей их 
приспособленности или рангу в зависимости от используемого метода 
селекции.
5) Формирование нового поколения в результате применения таких 
генетических операторов, как скрещивание, мутация и/или инверсия.
Блок-схема, иллюстрирующая эволюцию архитектур, представлена на 
рис. 5.57. 

---

А.Е. Кононюк Дискретно-непрерывная математика 
290 
Рис. 5.57. Блок-схема генетического алгоритма для поиска наилучшей 
архитектуры нейронной сети (случай эволюции архитектур). 

---

А.Е. Кононюк Дискретно-непрерывная математика 
291 
Если говорить об обучении сети (шаг 2), то наиболее часто встречается 
развитие топологии однонаправленных сетей с применением 
алгоритма обратного распространения ошибки с целью локального 
обучения. Известны работы, в которых описывается применение 
генетического алгоритма для одновременной адаптации и весов и то-
пологии. В других исследованиях допускались соединения в пределах 
одного слоя, обратные связи, а также обучение на основе конкуренции 
(competetive learning) 
и по Хеббу.
Достоинством эволюционного подхода считается тот факт, что 
функцию приспособленности можно легко определить специально для 
эволюции сети со строго определенными свойствами. Например, если 
для оценивания приспособленности использовать результаты 
тестирования вместо результатов обучения, то будет получена сеть с 
лучшей способностью к обобщению.