Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
в 
y
без обратных связей. Ниже будут 
представлены другие модели, в которых тот же принцип применяется к обучению 
стохастических отображений, функций с обратной связью и распределений вероят-
ности одиночного вектора.
Мы начнем эту главу с простого примера сети прямого распространения. Затем мы 
рассмотрим все проектные решения, принимаемые при развертывании таких сетей. 
Во-первых, при обучении сети прямого распространения приходится думать о тех же 
вещах, что для линейных моделей: выборе оптимизатора, функции стоимости и вида 
выходных блоков. Мы рассмотрим эти основы градиентного обучения, а затем пе-
рейдем к решениям, характерным только для сетей прямого распространения. По-
скольку в таких сетях есть скрытые слои, то мы должны выбрать 
функции активации
, 
используемые для вычисления вырабатываемых ими значений. Кроме того, нужно 
спроектировать архитектуру сети: сколько в ней скрытых слоев, как эти слои связаны 
между собой, сколько блоков в каждом слое. Обучение в контексте глубоких ней-
ронных сетей подразумевает вычисление градиентов сложных функций. Мы опишем 
алгоритм 
обратного распространения 
и его современные реализации, позволяющие 
эффективно вычислять градиенты. И завершим главу историческим обзором.
6.1. Пример: обучение XOR
Чтобы наполнить конкретикой понятие сети прямого распространения, рассмотрим 
полный пример сети, решающей очень простую задачу: обучение функции XOR.
Функция XOR (исключающее ИЛИ) применяется к двум двоичным значениям, 
x
1
и 
x
2
. Если ровно одно из них равно 1, то XOR возвращает 1, во всех остальных 
случаях – 0. Функция XOR является целевой функцией 
y
= 
f 
*
(
x
), которую мы хотим 
обучить. Наша модель описывает функцию 
y
= 
f
(