Я. Гудфеллоу, И. Бенджио, А. Курвилль

w
⏉
tanh(
U
⏉
tanh(
V
⏉
x
)) напоминает обучение линейной модели 
y
�
= 
w
⏉
U
⏉
V
⏉
x
, при условии что сигналы активации сети удается удерживать на низ-
ком уровне. При этом обучение сети с функцией активации tanh упрощается.
Сигмоидальные функции активации все же применяются, но не в сетях прямого 
распространения. К рекуррентным сетям, многим вероятностным моделям и некото-
рым автокодировщикам предъявляются дополнительные требования, исключающие 
использование кусочно-линейных функций активации и делающие сигмоидальные 
блоки более подходящими, несмотря на проблемы насыщения.
6.3.3. Другие скрытые блоки
Существует много других типов скрытых блоков, но используются они реже.
Вообще говоря, многие дифференцируемые функции показывают отличные ре-
зультаты. Есть целый ряд неопубликованных функций активации, которые ведут 
себя ничуть не хуже популярных. Приведем конкретный пример: мы тестировали 
сеть прямого распространения с функцией 
h
= cos(
Wx 
+ 
b
) на наборе данных MNIST 
и получили частоту ошибок менее 1 процента, что сравнимо с результатами, полу-
ченными с использованием более традиционных функций активации. В ходе иссле-
дований и разработки новых методов нередко тестируется много разных функций 
активации и обнаруживается, что результаты, полученные при отходе от стандарт-
ной практики, вполне сопоставимы. Это означает, что новые типы скрытых блоков 
обычно публикуются только в случае, когда улучшение весомо и очевидно. Скрытые 
блоки, работающие примерно так же, как известные, – дело настолько обычное, что 
рассматривать их неинтересно.
Бессмысленно перечислять все типы скрытых блоков, описанные в литературе. 
Мы отметим только несколько особенно полезных и непохожих на другие.
Одна из возможностей – не использовать функцию активации 
g
(
z
) вовсе. Мож-
но считать, что в этой роли выступает тождественная функция. Мы уже видели, что 

---

Проектирование архитектуры 

173
линейный блок может быть полезен в выходном слое нейронной сети. Его можно ис-
пользовать и в качестве скрытого блока. Если каждый слой сети состоит только из 
линейных преобразований, то сеть в целом будет линейной. Однако некоторые слои 
могут быть и чисто линейными – это вполне нормально. Рассмотрим слой нейронной 
сети, имеющий 
n
входов и 
p
выходов,