|
5.1.2.2. Обучение нейронных сетей
Среди всех интересных свойств искусственных нейронных сетей ни
одно не захватывает так воображения, как их способность к обучению. Их
обучение до такой степени напоминает процесс интеллектуального развития
человеческой личности что может показаться, что достигнуто глубокое
122
Рис. 5.5.
Классификация нейронных сетей
Нейронные сети
Статические
(feedforward)
Fuzzy-
структуры
Нетрадиционные
сети
Гибридные
Нейроны с
гистерезисом
(
A
,
В
)
СМАС
(
A
,
C
,
D
)
Связные
модели
(
A
,
C
)
Fuzzy-
ART
(
A
,
C
)
Однослойные
(
A
,
B
,
C
)
Многослойные
(
A
,
B
,
C
)
Персептрон
(
A
,
B
,
C
)
Radial Basis
Function
(
A
,
C
,
D
)
Однослойные
(
A
,
B
,
C
)
Многослойные
(
A
,
B
,
C
)
С боковыми
связями
(
A
,
B
)
Упорядоченые
(
A
,
B
,
C
)
Feedforward
/ Feedback
С возбуждением
и торможением
Двунаправленная
ассоциатиативная
память (ВАМ)
(
A
,
B
)
Адаптивная
теория резонанса
(ART)
(
A
,
B
)
1
123
Рис. 5.5.
Классификация нейронных сетей (продолжение)
понимание этого процесса. Но следует проявлять осторожность. Возмож-
ности обучения искусственных нейронных сетей ограниченны, и нужно
решить много сложных задач, чтобы определить, в правильном ли направ-
лении идут исследования. Тем не менее, уже получены убедительные дос-
тижения, такие как "говорящая сеть" Сейновского, и возникает много дру-
гих практических применений [85, 87÷97].
Цель обучения
Сеть обучается, чтобы для некоторого множества входов давать же-
лаемое (или, по крайней мере, сообразное с ним) множество выходов. Каж-
дое такое входное (или выходное) множество рассматривается как вектор.
Гибридные
С возбуждением
и торможением
Ячеистые
(
A
,
D
)
С временной
задержкой
(
A
,
С
)
С распространением
счётчика
(
A
,
В
)
Динамика
первого
порядка
(
A
,
В
)
Динамика
второго
порядка
(
С
,
D
)
1
124
Обучение осуществляется путём последовательного предъявления входных
векторов с одновременной подстройкой весов в соответствии с определён-
ной процедурой. В процессе обучения веса сети постепенно становятся та-
кими, чтобы каждый входной вектор вырабатывал выходной вектор.
Алгоритмы обучения
Существует великое множество различных алгоритмов обучения,
которые, однако, делятся на два больших класса: детерминистские и сто-
хастические. В первом из них, подстройка весов представляет собой жёст-
кую последовательность действий, во втором – она производится на основе
действий, подчиняющихся некоторому случайному процессу.
Для конструирования процесса обучения, прежде всего, необходимо
иметь модель внешней среды, в которой функционирует нейронная сеть –
знать доступную для сети информацию. Эта модель определяет парадигму
обучения. Во-вторых, необходимо понять, как модифицировать весовые
параметры сети, какие правила обучения управляют процессом настройки.
Алгоритм обучения означает процедуру, в которой используются правила
обучения для настройки весов.
Существуют три парадигмы обучения: "с учителем", "без учителя"
(самообучение) и смешанная.
Обучение с учителем предполагает (рис. 5.6), что для каждого вход-
ного вектора существует целевой вектор, представляющий собой требуе-
мый выход. Вместе они называются обучающей парой. Обычно сеть обу-
чается на некотором числе таких обучающих пар. Предъявляется выход-
ной вектор, вычисляется выход сети и сравнивается с соответствующим
целевым вектором. Разность (ошибка) с помощью обратной связи подаётся
в сеть и веса изменяются в соответствии с алгоритмом, стремящимся ми-
нимизировать ошибку. Векторы обучающего множества предъявляются
125
Рис. 5.6.
Обучение с учителем
последовательно, вычисляются ошибки и веса подстраиваются для каждо-
го вектора до тех пор, пока ошибка по всему обучающему массиву не дос-
тигнет приемлемо низкого уровня [85].
Несмотря на многочисленные прикладные достижения, обучение с
учителем критиковалось за свою биологическую неправдоподобность.
Трудно вообразить обучающий механизм в мозге, который бы срав-
нивал желаемые и действительные значения выходов, выполняя коррек-
цию с помощью обратной связи. Если допустить подобный механизм в
мозге, то откуда тогда возникают желаемые выходы? Обучение без учите-
ля (рис. 5.7) является намного более правдоподобной моделью обучения в
биологической системе. Развитая Кохоненом и многими другими, она не
нуждается в целевом векторе для выходов и, следовательно, не требует
сравнения с предопределёнными идеальными ответами. Обучающее мно-
жество состоит лишь из входных векторов. Обучающий алгоритм под-
страивает веса сети так, чтобы получались согласованные выходные век-
торы, то есть чтобы предъявление достаточно близких входных векторов
давало одинаковые выходы. Процесс обучения выделяет статистические
Ошибка
–
Действительная
реакция
Желаемая
реакция
Внешняя
среда
Учитель
Система
обучения
Do'stlaringiz bilan baham: |
