Microsoft Word Книга иис мггу 1 Print doc

15.3 Активационная функция нейрона 
Нелинейная функция 
f
в выражении (15.2) называется активационной и 
может иметь различный вид, как показано на рисунке 15.3.
(0, ∞)
Квадратичная
(0, ∞)
Экспоненциальная
(–1, 1)
Гиперболический
тангенс
(0, 1)
Сигмоид
(–1, 1)
Знаковая
(0, ∞)
Полулинейная
(–∞, ∞)
Линейная
Область
значений
Формула
Название
(0, ∞)
Квадратичная
(0, ∞)
Экспоненциальная
(–1, 1)
Гиперболический
тангенс
(0, 1)
Сигмоид
(–1, 1)
Знаковая
(0, ∞)
Полулинейная
(–∞, ∞)
Линейная
Область
значений
Формула
Название
kx
x
f

)
(
Основные функции активации нейронов






0
,
0
0
,
)
(
x
x
kx
x
f
x
x
x
x
e
e
e
e
x
f




)
(
x
e
x
f


)
(
2
)
(
x
x
f








0
,
1
0
,
1
)
(
x
x
x
f
x
e
x
f



1
1
)
(
Рисунок 15.3 – Основные функции используемые в виде активационных 
и их вид 
Одной из наиболее распространенных является нелинейная функция с 
насыщением, так называемая логистическая функция или сигмоид (т.е. 
функция S-образного вида) [1]: 
f x
e
x
( )



1
1

(15.3) 
При уменьшении 

сигмоид становится более пологим, в пределе при 

=0 вырождаясь в горизонтальную линию на уровне 0.5, при увеличении 

сигмоид приближается по внешнему виду к функции единичного скачка с 
порогом 
T
в точке 
x
=0. Из выражения для сигмоида очевидно, что выходное 
значение нейрона лежит в диапазоне [0, 1].
Одно из ценных свойств сигмоидной функции – простое выражение для 
ее производной, применение которого будет рассмотрено в дальнейшем. 
f
x
f x
f x
' ( )
( ) (
( ))





1
(15.4) 
Следует отметить, что сигмоидная функция дифференцируема на всей 
оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме 
того, она обладает свойством усиливать слабые сигналы лучше, чем 

---

143 
большие, и предотвращает насыщение от больших сигналов, так как они 
соответствуют областям аргументов, где сигмоид имеет пологий наклон. 
15.4 Простейшая нейронная сеть 
В качестве примера простейшей нейронной сети (НС) рассмотрим 
трехнейронный перцептрон (рисунок 3), то есть такую сеть, нейроны которой 
имеют активационную функцию в виде единичного скачка.
Рисунок 15.4 - Однослойный перцептрон 
На 
n
входов НС поступают некие сигналы, проходящие по синапсам на 3 
нейрона, образующие единственный слой этой НС и выдающие три 
выходных сигнала [1]: 
y
f
x
w
j
i
ij
i
n










1
, 
j 
=1...3 
(15.5) 
Очевидно, что все весовые коэффициенты синапсов одного слоя 
нейронов можно свести в матрицу 
W
, в которой каждый элемент 
w
ij
задает 
величину 
i
-ой синаптической связи 
j
-ого нейрона. Таким образом, процесс, 
происходящий в НС, может быть записан в матричной форме: 
Y 
= 
F
(
XW
)
(15.6) 
где 
X
и 
Y
– соответственно входной и выходной сигнальные векторы, 
F
(
V
) – 
активационная функция, применяемая поэлементно к компонентам вектора 
V
.