Учебное пособие к курсу "Нейронные сети" для студентов 5 курса магистратуры

Виды функций активации

Рассмотрим основные виды функций активации, получившие распространение в искусственных НС.

1. 
   Жесткая ступенька (рис. .):
   


OUT  ^0,
_1,
NET  
NET  

Используется в классическом формальном нейроне. Развита полная теория [Мкртчян71], позво* ляющая синтезировать произвольные логические схемы на основе ФН с такой нелинейностью. Функ* ция вычисляется двумя*тремя машинными инструкциями, поэтому нейроны с такой нелинейно* стью требуют малых вычислительных затрат.
Эта функция чрезмерно упрощена и не позволяет моделировать схемы с непрерывными сигнала* ми. Отсутствие первой производной затрудняет применение градиентных методов для обучения та* ких нейронов. Сети на классических ФН чаще всего формируются, синтезируются, т.е. их парамет*

ры рассчитываются по формулам, в противоположность обучению, когда параметры подстраивают* ся итеративно.

2. 
   Логистическая функция (сигмоида, функция Ферми, рис. .):
   

OUT ^
1


_{1  e} NET

Применяется очень часто для многослойных перцептронов и других сетей с непрерывными сиг* налами. Гладкость, непрерывность функции — важные положительные качества. Непрерывность первой производной позволяет обучать сеть градиентными методами (например, метод обратного распространения ошибки).
Функция симметрична относительно точки (NET=0, OUT=1/2), это делает равноправными зна* чения OUT=0 и OUT=1, что существенно в работе сети. Тем не менее, диапазон выходных значений от 0 до 1 несимметричен, из*за этого обучение значительно замедляется.
Данная функция — сжимающая, т.е. для малых значений NET коэффициент передачи K=OUT/ NET велик, для больших значений он снижается. Поэтому диапазон сигналов, с которыми нейрон работает без насыщения, оказывается широким.
Значение производной легко выражается через саму функцию. Быстрый расчет производной ус* коряет обучение.

3.