Я. Гудфеллоу, И. Бенджио, А. Курвилль

156 

 
Глубокие сети прямого распространения 
Посмотрим по шагам, как модель обрабатывает входные данные. Обозначим 
X
матрицу плана, содержащую все четыре точки в пространстве двоичных входов, по 
одному примеру в строке:
 
(6.7)
Первый шаг нейронной сети – умножение матрицы входов на матрицу весов пер-
вого слоя:
 
(6.8)
Затем она прибавляет вектор смещений 
c
, получая в результате
 
(6.9)
В этом пространстве все примеры расположены на прямой с угловым коэффици-
ентом 1. При движении вдоль этой прямой выход вначале должен быть равен 0, затем 
поднимается до 1, потом снова падает до 0. Линейная модель такую функцию реали-
зовать не может. Чтобы завершить вычисление 
h
для каждого примера, применим 
преобразование линейной ректификации:
 
(6.10)
Это преобразование изменило соотношение между примерами. Они больше не ле-
жат на одной прямой. Как видно по рис. 6.1, теперь они расположены в пространстве, 
где линейная модель может решить задачу.
В завершение умножаем на вектор весов 
w
:
 
(6.11)
Нейронная сеть получила правильный ответ для каждого входного примера.
В этом примере мы просто задали решение, а затем показали, что его можно по-
лучить с нулевой ошибкой. В реальной ситуации количество параметров модели 

---

Обучение градиентными методами 

157
и обучаю щих примеров может исчисляться миллиардами, поэтому заранее угадать 
решение невозможно. Вместо этого применяется алгоритм градиентной оптимиза-
ции, который способен найти параметры с очень небольшой ошибкой. Описанное ре-
шение задачи о XOR соответствует глобальному минимуму функции потерь, поэтому 
метод градиентного спуска мог бы сойтись к нему. Существуют эквивалентные реше-
ния этой задачи, которые также могли бы быть найдены градиентным спуском. К ка-
кой точке сойдется градиентный спуск, зависит от начальных значений параметров. 
На практике градиентный спуск обычно находит не такие «чистые», целочисленные, 
с первого взгляда понятные решения, как описанное в этом разделе.