Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
; 
θ
), а алгоритм обучения должен 
подобрать параметры 
θ
, так чтобы 
f
была максимально похожа на 
f 
*
.

---

Пример: обучение XOR 

153
В этом простом примере нас не интересует статистическое обобщение. Мы хотим, 
чтобы сеть правильно работала на четырех точках 
𝕏 
= {[0, 0]
⏉
, [0, 1]
⏉
, [1, 0]
⏉
, [1, 1]
⏉
}, 
и будем обучать ее на всех этих точках. Единственная проблема – аппроксимировать 
обучать набор.
Эту проблему можно рассматривать как задачу регрессии и использовать средне-
квадратическую функцию потерь. Мы выбрали такую функцию потерь, чтобы мак-
симально упростить математические выкладки. На практике среднеквадратическая 
ошибка (СКО) редко подходит для моделирования двоичных данных. Более разум-
ные подходы описаны в разделе 6.2.2.2.
Вычисленная на всем обучающем наборе среднеквадратическая функция потерь 
имеет вид:
(6.1)
Теперь нужно выбрать форму модели 
f
(
x
; 
θ
). Допустим, что выбирается линейная 
модель, в которой 
θ
состоит из параметров 
w
и 
b
:
f
(
x
; 
w
,
b
) = 
x
⏉
w
+ 
b
.
 
(6.2)
Мы можем минимизировать 
J
(
θ
) относительно 
w
и 
b
в замкнутой форме с по-
мощью нормальных уравнений.
Решив нормальные уравнения, получаем 
w
= 0, 
b
= 1/2. Линейная модель просто 
порождает постоянное выходное значение 0.5. Почему так? По рис. 6.1 видно, что ли-
нейная модель не способна представить функцию XOR. Чтобы решить эту проблему, 
мы можем взять другое пространство признаков, в котором линейной модели будет 
уже достаточно для представления решения.
Конкретно, рассмотрим простую сеть прямого распространения с одним скрытым 
слоем, содержащим два скрытых блока. Она показана на рис. 6.2. В этой модели имеет-
ся вектор скрытых блоков