Я. Гудфеллоу, И. Бенджио, А. Курвилль

дрейф концепций
(concept drift), ее можно рассматривать 
как форму переноса обучения в силу постепенных изменений распределения данных 
со временем. И дрейф концепций, и перенос обучения можно считать особыми ви-
дами многозадачного обучения. Хотя термин «многозадачное обучение» чаще при-
меняется к задачам обучения с учителем, более общее понятие переноса обучения 
применимо также к обучению без учителя и к обучению с подкреплением.
Во всех этих случаях цель – воспользоваться знаниями, приобретенными в пер-
вой конфигурации, для извлечения информации, которая может пригодиться для 
обучения или даже прямого предсказания во второй конфигурации. Ключевая идея 
обучения представлений состоит в том, что одно и то же представление может быть 
полезно в обеих конфигурациях. А это позволяет обогатить представление, пользуясь 
обучающими данными, доступными для обеих задач.
Как уже упоминалось, глубокое обучение без учителя в применении к перено-
су обуче ния снискало успех в нескольких соревнованиях по машинному обучению 
(Mesnil et al., 2011; Goodfellow et al., 2011). В первом из них предлагалась такая задача. 

---

Перенос обучения и адаптация домена 

453
Каждому участнику сначала был выдан набор данных из первой конфигурации (вы-
борка из распределения 
P
1
) с примерами, относящимися к какому-то множеству ка-
тегорий. На нем участники должны были обучить хорошее пространство признаков 
(отображение исходных данных на некоторое представление) – такое, что примене-
ние этого обученного преобразования к входным данным для переноса обучения (вы-
борке из распределения 
P
2
) позволяет на небольшом количестве помеченных приме-
ров обучить линейный классификатор, который бы хорошо обобщался. Среди самых 
поразительных результатов, полученных в ходе этого соревнования, был тот факт, 
что по мере использования все более глубоких представлений (обученных без всяко-
го присутствия учителя на данных, выбранных из первого распределения 
P
1
) кривая 
обучения на новых категориях второй конфигурации 
P
2
(перенос) оказывается гораз-
до лучше. При наличии глубокого представления для достижения асимптотической 
обобщаемости на перенесенных задачах нужно меньше помеченных примеров.
Два крайних случая переноса обучения –