Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
; 
W
, 
c
, 
w
, 
b
) = 
w
⏉
max{0, 
W
⏉
x
+ 
c
} + 
b
.
 
(6.3)
Теперь мы можем описать решение задачи о функции XOR. Обозначим
 
(6.4)
 
(6.5)
 
(6.6)
и положим 
b
= 0.

---

Пример: обучение XOR 

155
y
h
1
x
1
h
2
x
2
y
h
x
w
W
Рис. 6.2 

Пример сети обратного распространения, нарисованной дву-
мя способами. Это та сеть, которой мы воспользовались для решения зада-
чи о функции XOR. В сети имеется скрытый слой с двумя блоками. (
Слева
) 
Здесь каждый блок представлен вершиной графа. Этот способ явный и од-
нозначный, но когда сеть побольше, чем в этом примере, рисунок занимает 
слишком много места. (
Справа
) В этом случае вершина графа соответству-
ет целому вектору, представляющему все активации в слое. Такой способ 
гораздо компактнее. Иногда ребра графа аннотируются именами парамет-
ров, описывающих связь между двумя слоями. Здесь мы указали, что мат-
рица 
W
описывает отображение 
x
в 
h
, а вектор 
w
– отображение 
h
в 
y
. Как 
правило, свободные члены для каждого слоя в таких метках опускаются.
0
0
z
g
(
z
) = max{0, 
z
}
Рис. 6.3 

Ректифицированная линейная функция активации. Эта функ-
ция по умолчанию рекомендуется для большинства нейронных сетей пря-
мого распространения. Применение ее к выходу линейного преобразова-
ния дает нелинейное преобразование. Функция, впрочем, очень близка 
к линейной – она является кусочно-линейной с двумя линейными участка-
ми. Поскольку блоки линейной ректификации почти линейны, сохраняются 
многие свойства, благодаря которым линейные модели легко поддаются 
оптимизации градиентными методами. Сохраняются также свойства, обес-
печивающие хорошую обобщаемость линейных моделей. Общий принцип 
информатики – строить сложные системы из минимальных компонентов. 
От памяти машины Тьюринга требуется только способность хранить нуль 
и единицу, а универсальный аппроксиматор можно построить из ректифи-
цированных линейных функций

---