Я. Гудфеллоу, И. Бенджио, А. Курвилль

 

блок в виде 
радиально-базисной функции
(RBF): 
h
i
= exp((–1/
σ
i
2
)||
W
:, 
i
– 
x
||
2
). 
Эта функция становится более активной, когда 
x
стремится к образцу 
W
:, 
i
. По-
скольку для большинства 
x
она асимптотически равна 0, оптимизировать ее 
трудно;
 

Softplus:
g
(
a
) = 
ζ
(
a
) = log(1 + 
e
a
). Это сглаженный вариант ректификатора, ис-
пользованный в работе Dugas et al. (2001) для аппроксимации функций и в ра-
боте Nair and Hinton (2010) для условных распределений в неориентированных 
вероятностных моделях. В работе Glorot et al. (2011a) сравнивались softplus 
и ректификатор и обнаружилось, что результаты последнего лучше. Примене-
ние softplus, вообще говоря, не рекомендуется. Функция softplus демонстриру-
ет, что качество скрытых блоков может противоречить интуиции, – казалось 
бы, она должна иметь преимущество над ректификатором в силу дифферен-
цируемости всюду или не столь полного насыщения, но опыт показывает, что 
это не так;
 

Hardtanh
. По форме эта функция похожа на tanh и на ректификатор, но, в от-
личие от последнего, ограничена: 
g
(
a
) = max(–1, min(1, 
a
)). Она введена в ра-
боте Collobert (2004).
В области проектирования скрытых слоев до сих пор ведутся активные исследова-
ния, и многие полезные типы слоев ждут своего открытия.
6.4. Проектирование архитектуры
Еще один ключевой аспект нейронных сетей – задание архитектуры. Под