В современных системах автоматизированного проектирования ши

5.1.1. Виды функций активации
Рассмотрим основные виды функций активации, получившие рас-
пространение в искусственных НС.
5.1.1.1. Жёсткая ступенька
0. NET
OUT
1. NET




 


(5.1) 
Используется в классическом формальном нейроне. Развита полная 
теория, позволяющая синтезировать произвольные логические схемы на 
основе ФН с такой нелинейностью. Функция (рис. 5.1) вычисляется двумя-
тремя машинными Инструкциями, поэтому нейроны с такой нелинейно-
стью требуют малых вычислительных затрат. Эта функция чрезмерно уп-

---

117
рощена и не позволяет моделировать схемы с непрерывными сигналами. 
Отсутствие первой производной затрудняет применение градиентных ме-
тодов для обучения таких нейронов. Сети на классических ФН чаще всего 
формируются, синтезируются, то есть их параметры рассчитываются по 
формулам, в противоположность обучению, когда параметры подстраива-
ются итеративно [84÷90]. 
Рис. 5.1.
Жёсткая ступенька 
5.1.1.2. Логистическая функция,
сигмоида, функция Ферми


NET
-NET
NET
-NET
OUT
th NET
.
e
e
e
e




(5.2) 
Логистическая функция (рис. 5.2) тоже применяется часто для сетей 
с непрерывными сигналами. Функция симметрична относительно точки 
(0,0) Это преимущество по сравнению с сигмоидой. Производная также 
непрерывна и выражается через саму функцию. 
Рис. 5.2.
Логистическая функция

---

118
5.1.1.3. Пологая ступенька
0, NET
;
NET
OUT
,
NET
;
1, NET
.













 





 

(5.3) 
Пологая ступенька (рис. 5.3) рассчитывается легко, но имеет разрыв-
ную первую производную в точках NET = 
θ
, NET = 
θ
+ Δ. Это усложняет 
процесс обучения.