Я. Гудфеллоу, И. Бенджио, А. Курвилль

архитекту-
рой
понимается общая структура сети: сколько в ней должно быть блоков и как эти 
блоки соединены между собой.

---

174 

 
Глубокие сети прямого распространения 
Большинство нейронных сетей организовано в виде групп блоков, именуемых 
слоя ми. В большинстве архитектур нейронных сетей слои собраны в цепочку, так что 
каждый слой является функцией от предыдущего. В этой структуре первый слой за-
дается уравнением
h
(1)
= 
g
(1)
(
W
(1)
⏉
x
+ 
b
(1)
), 
(6.40)
второй слой – уравнением
h
(2)
= 
g
(2)
(
W
(2)
⏉
h
(1)
+ 
b
(2)
) 
(6.41)
и так далее.
В таких цепных архитектурах главное – выбор глубины сети и ширины каждого 
слоя. Как мы увидим, даже сети всего с одним скрытым слоем достаточно для ап-
проксимации обучающего набора. Более глубокие сети часто способны обходиться 
гораздо меньшим числом блоков в одном слое и гораздо меньшим числом параметров 
и, кроме того, хорошо обобщаются на тестовый набор, но их труднее оптимизировать. 
Идеальная архитектура сети для данной задачи ищется в ходе экспериментов, на-
правление которых определяется ошибкой на контрольном наборе.
6.4.1. Свойства универсальной аппроксимации и глубина
Линейная модель, отображающая признаки на выходы посредством умножения на 
матрицу, по определению способна представить только линейные функции. Ее пре-
имущество – простота обучения, потому что многие функции потерь в случае приме-
нения к линейной модели приводят к задачам выпуклой оптимизации. К сожалению, 
от систем часто требуется обучать нелинейные функции.
На первый взгляд кажется, что для обучения нелинейной функции нужно про-
ектировать специализированное семейство моделей для каждого вида нелинейно-
сти. По счастью, сети прямого распространения со скрытыми слоями предоставляют 
универсальную инфраструктуру аппроксимации. Точнее,