Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
), отображающую вектор признаков 
x
, в скаляр с ис-
пользованием в качестве функции стоимости среднеквадратической ошибки между 
предсказаниями модели 
y
�
(
x
) и истинными значениями 
y
:
J
= 
𝔼
p
(
x
, 
y
)
[
y
�
(
x
) – 
y
)
2
]. 
(7.30)
Обучающий набор содержит 
m
помеченных примеров {(
x
(1)
, 
y
(1)
), …, (
x
(
m
)
, 
y
(
m
)
)}.
Теперь предположим, что к каждому входу добавлено случайное возмущение 
ε
W
∼
𝒩
(
ε
; 
0
, 
η
I
) сетевых весов. Допустим, что мы имеем дело со стандартным 
l
-слой-
ным МСП. Обозначим возмущенную модель 
y
�
ε
W
(
x
). Несмотря на привнесенный 
шум, мы по-прежнему хотим минимизировать среднеквадратическую ошибку выхо-
да сети. Таким образом, целевая функция принимает вид:
J
~
W
= 
𝔼
p
(
x
;
y
;
ε
W
)
[(
y
�
ε
W
(
x
) – 
y
)
2
] 
(7.31)
= 
𝔼
p
(
x
;
y
;
ε
W
)
[(
y
�
2
ε
W
(
x
) – 2
yy
�
ε
W
(
x
) + 
y
2
]. 
(7.32)
Для малых 
η
минимизация 
J
с добавленным весовым шумом (с ковариацией 
η
I
) эк-
вивалентна минимизации 
J
с добавленным членом регуляризации 
η
𝔼
p
(
x
, 
y
)
[||
∇
W
y
�
(
x
)||
2
]. 

---

Обучение с частичным привлечением учителя 

211
Такая форма регуляризации поощряет сдвиг в область пространства параметров, 
где малые возмущения весов оказывают слабое влияние на выход. Иными словами, 
модель сдвигается в область нечувствительности к небольшим изменениям весов, 
т. е. ищутся не просто минимумы, а минимумы, окруженные плоскими участками 
(Hochreiter and Schmidhuber, 1995). В случае линейной регрессии (когда, например, 
y
�
(
x
) = 
w
⏉
x
+ 
b
) этот регуляризирующий член упрощается до 
η
𝔼
p
(
x
)
[||
x
||
2
], а эта функ-
ция не зависит от параметров и потому не дает вклада в градиент 
J
~
W
относительно 
параметров модели.
7.5.1. Привнесение шума в выходные метки
В большинстве наборов данных выходные метки 
y
содержат сколько-то ошибок. 
Максимизация log 
p
(
y
| 
x
), когда 
y
ошибочно, чревата неприятными последствиями. 
Предотвратить это можно, в частности, путем явного моделирования шума в метках. 
Так, мы можем предположить, что для некоторой малой константы 
ε
метка обучающе-
го набора 
y
правильна с вероятностью 1 – 
ε
, а в противном случае правильной может 
быть любая другая возможная метка. Это предположение легко включить в функцию 
стоимости аналитически, а не путем явной выборки зашумленных примеров. Напри-
мер,