Я. Гудфеллоу, И. Бенджио, А. Курвилль

176 

 
Глубокие сети прямого распространения 
представить любые функции, но число линейных участков экспоненциально зависит 
от глубины сети. На рис. 6.5 показано, как сеть с абсолютной ректификацией создает 
зеркальное изображение функции, вычисленной некоторым скрытым блоком, относи-
тельно входа этого блока. Каждый скрытый блок задает место, где нужно «перегнуть» 
пространство входов, чтобы получить зеркальный отклик (по обе стороны абсолют-
ной нелинейности). С помощью композиции таких операций перегибания мы полу-
чаем экспоненциально растущее число участков нелинейности и тем самым можем 
уловить любые регулярные (т. е. повторяющиеся) паттерны.
Рис. 6.5 

Интуитивное геометрическое объяснение экспоненциального 
характера глубоких сетей ректификаторов, формально доказанного в рабо-
те Montufar et al. (2014). (
Слева
) Блок абсолютной ректификации порожда-
ет одинаковые выходы для любой пары зеркально симметричных входов. 
Ось симметрии задается гиперплоскостью, определяемой весами и сме-
щением блока. Функция, вычисляемая этим блоком (зеленая решающая 
поверхность), будет зеркальным отражением более простого паттерна от-
носительно этой оси симметрии. (
В центре
) Функцию можно получить пу-
тем перегибания пространства по этой оси симметрии. (
Справа
) На первый 
повторяющийся паттерн можно наложить еще один (с помощью блока сле-
дующего слоя) и получить тем самым еще одну симметрию (четырехкрат-
ное повторение при двух скрытых слоях). Рисунок взят из работы Montufar 
et al. (2014) с разрешения авторов
Основная теорема в работе Montufar et al. (2014) утверждает, что число линейных 
участков, представимых глубокой сетью ректификаторов с 
d
входами, глубиной 
l
и 
n
блоками в каждом скрытом слое, равно
(6.42)
т. е. экспоненциально зависит от глубины 
l
. В случае maxout-сетей с 
k
фильтрами на 
один блок число линейных участков равно
O
(
k
(
l
– 1) + 
d
). 
(6.43)
Конечно, нет никакой гарантии, что функции, которые мы хотим обучать в прило-
жениях машинного обучения (и особенно ИИ), обладают таким свойством.
Выбор глубокой модели может быть продиктован и статистическими соображе-
ниями. При выборе конкретного алгоритма машинного обучения мы неявно форму-
лируем некоторые априорные предположения о характере функции, которую этот 
алгоритм должен обучить. В глубокой модели закодирована очень общая гипотеза, 
согласно которой обучаемая функция должна быть композицией более простых. 

---

Проектирование архитектуры 

177
С точки зрения обучения представлений, эту гипотезу можно интерпретировать, ска-
зав, что задача обучения состоит в выявлении множества истинных факторов вариа-
тивности, которое, в свою очередь, можно описать в терминах других, более простых 
факторов вариативности. По-другому использование глубокой архитектуры можно 
интерпретировать как выражение нашей веры в том, что функция, которую мы хотим 
обучить, является компьютерной программой, состоящей из нескольких шагов, на 
каждом из которых используется результат предыдущего шага. Эти промежуточные 
результаты не обязательно являются факторами вариативности, их можно уподобить 
счетчикам или указателям, с помощью которых сеть организует свою внутреннюю 
работу. Эмпирически показано, что для широкого класса задач увеличение глубины 
влечет улучшение обобщаемости (Bengio et al., 2007; Erhan et al., 2009; Bengio, 2009; 
Mesnil et al., 2011; Ciresan et al., 2012; Krizhevsky et al., 2012; Sermanet et al., 2013; Fara-
bet et al., 2013; Couprie et al., 2013; Kahou et al., 2013; Goodfellow et al., 2014d; Szegedy 
et al., 2014a). Примеры таких эмпирических результатов приведены на рис. 6.6 и 6.7. 
Они наводят на мысль, что глубокие архитектуры действительно выражают полез-
ную априорную информацию о пространстве функций, обучаемых моделью.
96,5
96,0
95,5
95,0
94,5
94,0
93,5
93,0
92,5
92,0
3
4
5
6
7
8
9
10
11
Верность на тестовом наборе 
(в процентах)