1 Автоматизированная система управления цехом в информационной системе«Производственный менеджмент». Дисциплина «Информационные системы в организации»

102 Методы обучения нейронных сетей.
Дисциплина «Интеллектуальные информационные системы»
Искусственные нейронные сети обучаются самыми разнообразными методами. К счастью, большинство методов обучения исходят из общих предпосылок и имеет много идентичных характеристик.
Обучение может быть с учителем или без него. Для обучения с учителем нужен «внешний» учитель, который оценивал бы поведение системы и управлял ее последующими модификациями. При обучении без учителя, сеть путем самоорганизации делает требуемые изменения.
Метод обучения Хэбба. Его теория предполагает только локальное взаимодействие между нейронами при отсутствии глобального учителя; следовательно, обучение является неуправляемым. Идея алгоритма выражается следующим равенством:
w_ij(t+1) = w_ij(t) + NET_i NET_j,
где w_ij(t) – сила синапса от нейрона i к нейрону j в момент времени t; NET_i – уровень возбуждения предсинаптического нейрона; NET_j – уровень возбуждения постсинаптического нейрона. Концепция Хэбба отвечает на сложный вопрос, каким образом обучение может проводиться без учителя.
Метод сигнального обучения Хэбба
Метод дифференциального обучения Хэбба
Существует ряд алгоритмов обучения жестко привязанных к архитектуре НС (Сеть Холфилда, Кохонена, многослойные сети). Основным для многослойной сети явл. метод обратного распространения ошибки, основанный на градиентных методах оптимизации.
Градиентные методы:
метод наискорейшего спуска;
модифицированный ParTan;
квазиньютоновский и т.д.
Многими исследователями были предложены улучшения и обобщения основного алгоритма обратного распространения:
метод ускорения сходимости алгоритма обратного распространения;
метод улучшения хар-тик обучения сетей обратного распространения.
Неградиентные методы:
Метод случайной стрельбы (представитель семейства методов Монте-Карло);
Метод покоординатного спуска (псевдоградиентный метод);
Метод случайного поиска (псевдоградиентный метод);
Метод Нелдера-Мида.
Имеется 2 класса обучающих методов: детерминистский и стохастический.
Стохастические методы полезны как для обучения искусственных нейронных сетей, так и для получения выхода от уже обученной сети. Стохастические методы обучения приносят большую пользу, позволяя исключать локальные минимумы в процессе обучения:
Больцмановское обучение
Обучение Коши
Метод искусственной теплоемкости
Самоорганизация: метод динамических ядер.
Также существует множество комбинированных методов.