Я. Гудфеллоу, И. Бенджио, А. Курвилль

y
(
i
)
при известном 
x
) 
разделяют один и тот же вход 
x
, а также некоторое промежуточное представление 
h
(shared)
, запоминающее общий пул факторов. В общем случае модель можно разделить 
на части двух видов и ассоциированные с ними параметры:
1) параметры, специфичные для конкретной задачи (для достижения хорошей 
обобщаемости им нужны только примеры, относящиеся к «своей» задаче). Это 
верхние слои нейронной сети на рис. 7.2;
2) общие параметры, разделяемые всеми задачами (они извлекают выгоду из орга-
низации пула данных всех задач). Это нижние слои сети на рис. 7.2.
Улучшенной обобщаемости и ограничения ошибки обобщения (Baxter, 1995) мож-
но достичь благодаря разделяемым параметрам, статистическую мощность которых 
можно значительно повысить (соразмерно с увеличенным числом примеров для раз-
деляемых параметров, по сравнению со случаем однозадачных моделей). Разумеется, 
для этого нужно, чтобы выполнялись некоторые предположения относительно ста-
тистической связи между различными задачами, выражающие тот факт, что у неко-
торых задач действительно имеется что-то общее.
С точки зрения глубокого обучения, априорная гипотеза состоит в следующем: 
среди факторов, объясняющих вариативность, наблюдаемую в данных, ассоциирован-
ных с разными задачами, некоторые являются общими для двух или более задач
.

---

Ранняя остановка 

213
h
(shared)
x
h
(2)
y
(2)
h
(1)
y
(1)
h
(3)
Рис. 7.2 

Многозадачное обучение находит несколько применений в си-
стемах глубокого обучения, на этом рисунке показана типичная ситуация, 
когда задачи разделяют общий вход, но у них разные выходные случайные 
величины. Нижние слои глубокой сети (все равно, идет ли речь об обуче-
нии с учителем и прямом распространении или присутствует порождающая 
компонента с направленными вниз стрелками) могут разделяться задача-
ми, тогда как специфичные для задач параметры (ассоциированные соот-
ветственно с весами входных и выходных сигналов