Я. Гудфеллоу, И. Бенджио, А. Курвилль

212 

 
Регуляризация в глубоком обучении 
Вместо включения раздельных компонент с учителем и без учителя в одну модель 
можно построить модели, в которых порождающая модель 
P
(
x
) или 
P
(
x
, 
y
) разделяет 
параметры с дискриминантной моделью 
P
(
y
| 
x
). Затем можно выбрать компромисс 
между критерием обучения с учителем –log 
P
(
y
| 
x
) и критерием без учителя или по-
рождающим критерием (например, –log 
P
(
x
) или –log 
P
(
x
, 
y
)). Тогда порождающий 
критерий выражает некую априорную гипотезу о решении задачи обучения с учите-
лем (Lasserre et al., 2006), а именно что структура 
P
(
x
) связана со структурой 
P
(
y
| 
x
) 
таким способом, который улавливается совместной параметризацией. Управляя тем, 
какая часть порождающего критерия включается в общий, мы можем найти лучший 
компромисс, чем чисто порождающий или чисто дискриминантный критерий обуче-
ния (Lasserre et al., 2006; Larochelle and Bengio, 2008).
В работе Salakhutdinov and Hinton (2008) описан способ обучения ядра ядерного 
метода регрессии, в котором использование непомеченных примеров для моделиро-
вания 
P
(
x
) оказывается существенно лучше, чем 
P
(
y
| 
x
).
Дополнительные сведения об обучении с частичным привлечением учителя см. 
в работе Chapelle et al. (2006).
7.7. Многозадачное обучение
Многозадачное обучение (Caruana, 1993) – способ улучшить обобщаемость путем 
пулинга примеров (которые можно рассматривать как мягкие ограничения на пара-
метры), возникающих в нескольких задачах. Дополнительные обучающие примеры 
оказывают большее давление на параметры модели, отдавая предпочтение значени-
ям, которые хорошо обобщаются, и точно так же, если часть модели совместно ис-
пользуется несколькими задачами, то эта часть испытывает больше ограничений, 
направляющих ее в сторону хороших значений (в предположении, что разделение 
обосновано), что зачастую улучшает обобщаемость.
На рис. 7.2 показана широко распространенная форма многозадачного обучения, 
при которой разные задачи обучения с учителем (предсказание