Учебное пособие к курсу "Нейронные сети" для студентов 5 курса магистратуры

Гиперболический тангенс (рис. ):

_{  e}NET _{ e} NET

OUT
^th(NET ⁾
_eNET _{ e} NET

Тоже применяется часто для сетей с непрерывными сигналами. Функция симметрична относи* тельно точки (0,0), это преимущество по сравнению с сигмоидой.
Производная также непрерывна и выражается через саму функцию.

4. 
   Пологая ступенька (рис. ):
   

^{0, NET  }

 <sub>

</sub> 
^^{NET  } 
OUT ,


  NET    

_^1,
NET    

Рассчитывается легко, но имеет разрывную первую производную в точках _{NET  } , _{NET    } , что усложняет алгоритм обучения.

5. 
   Экспонента: OUT ^ e^NET . Применяется в специальных случаях.
   
6. 
   SOFTMAX*функция:
   

_eNET

i
^OUT  _{ eNET}
i
Здесь суммирование производится по всем нейронам данного слоя сети. Такой выбор функции обеспечивает сумму выходов слоя, равную единице при любых значениях сигналов NET_i данного слоя. Это позволяет трактовать OUT_i как вероятности событий, совокупность которых (все выходы
слоя) образует полную группу. Это полезное свойство позволяет применить SOFTMAX*функцию в
задачах классификации, проверки гипотез, распознавания образов и во всех других, где требуются выходы*вероятности.

7. Участки синусоиды:

OUT  sin(NET ) для NET  ^ ^ , ^{ }

или
^{NET } ^{ ,} 

8. 
   Гауссова кривая (рис. ):
   

_ _{2 2} _

OUT ^
_{1 }^{NET m}
_e ² ²

Применяется в случаях, когда реакция нейрона должна быть максимальной для некоторого опре* деленного значения NET.

9. 
   
   Линейная функция, OUT = K NET, K=const. Применяется для тех моделей сетей, где не требу* ется последовательное соединение слоев нейронов друг за другом.
   

Рис. . Виды функций активации.

Выбор функции активации определяется:

1. 
   Спецификой задачи.
   
2. 
   Удобством реализации на ЭВМ, в виде электрической схемы или другим способом.
   
3. 
   Алгоритмом обучения: некоторые алгоритмы накладывают ограничения на вид функции акти* вации, их нужно учитывать.
   

Чаще всего вид нелинейности не оказывает принципиального влияния на решение задачи. Одна*
ко удачный выбор может сократить время обучения в несколько раз.

Ограничения модели нейрона

1. 
   Вычисления выхода нейрона предполагаются мгновенными, не вносящими задержки. Непо* средственно моделировать динамические системы, имеющие "внутреннее состояние", с помо* щью таких нейронов нельзя.
   
2. 
   В модели отсутствуют нервные импульсы. Нет модуляции уровня сигнала плотностью импуль* сов, как в нервной системе. Не появляются эффекты синхронизации, когда скопления нейро* нов обрабатывают информацию синхронно, под управлением периодических волн возбужде* ния*торможения.
   
3. 
   Нет четких алгоритмов для выбора функции активации.
   
4. 
   Нет механизмов, регулирующих работу сети в целом (пример * гормональная регуляция актив* ности в биологических нервных сетях).
   

5. 
   Чрезмерная формализация понятий: "порог", "весовые коэффициенты". В реальных нейронах нет числового порога, он динамически меняется в зависимости от активности нейрона и обще* го состояния сети. Весовые коэффициенты синапсов тоже не постоянны. "Живые" синапсы обладают пластичностью и стабильностью: весовые коэффициенты настраиваются в зависимо* сти от сигналов, проходящих через синапс.
   
6. 
   Существует большое разнообразие биологических синапсов. Они встречаются в различных частях клетки и выполняют различные функции. То^' рмозные и возбуждающие синапсы реали* зуются в данной модели в виде весовых коэффициентов противоположного знака, но разнооб* разие синапсов этим не ограничивается. Дендро*дендритные, аксо*аксональные синапсы не реализуются в модели ФН.
   
7. 
   В модели не прослеживается различие между градуальными потенциалами и нервными им* пульсами. Любой сигнал представляется в виде одного числа.
   

Итак, модель формального нейрона не является биоподобной и скорее похожа на математичес*
кую абстракцию, чем на живой нейрон. Тем удивительнее оказывается многообразие задач, решае* мых с помощью таких нейронов и универсальность получаемых алгоритмов.