Я. Гудфеллоу, И. Бенджио, А. Курвилль

Часть 
III
ИССЛЕДОВАНИЯ
ПО ГЛУБОКОМУ
ОБУЧЕНИЮ
В этой части книги описываются передовые подходы к глубокому обучению, разви-
ваемые в настоящее время исследовательским сообществом.
В предыдущих частях мы показали, как решаются задачи обучения с учителем: как 
обучить отображение одного вектора на другой, если имеется достаточно примеров 
такого отображения.
Но не все интересующие нас задачи попадают в эту категорию. Иногда требуется 
генерировать новые примеры, определить вероятность какой-то точки в простран-
стве событий, обработать отсутствие значений или воспользоваться большим набо-
ром непомеченных примеров либо примерами для родственных задач. У современ-
ных промышленных приложений есть существенный недостаток: для достижения 
приемлемой верности алгоритмам обучения нужно много подготовленных учителем 
данных. В этой части книги мы обсудим некоторые теоретически мыслимые подходы 
к уменьшению объема размеченных данных, необходимого для качественной рабо-
ты существующих моделей и их применения к более широкому кругу задач. Обычно 
для достижения этих целей приходится прибегать к той или иной форме обучения 
без учителя или с частичным привлечением учителя. Придумано много алгоритмов 
глубокого обучения без учителя, но ни один из них не способен продемонстрировать 
такое же качество, как при решении задач обучения с учителем. Мы опишем сущест-
вующие подходы к обучению без учителя и некоторые популярные идеи о том, как 
добиться прогресса в этой области.
Основная причина трудностей обучения без учителя – высокая размерность мо-
делируемых случайных величин. Из-за этого возникают две проблемы: статистиче-
ская и вычислительная. 
Статистическая проблема
касается обобщения: количество 
конфигураций, которые мы хотели бы различать, может экспоненциально возрастать 
с ростом числа представляющих интерес измерений и в итоге очень быстро оказы-
вается намного больше, чем количество доступных примеров (или превышает воз-
можности ограниченных вычислительных ресурсов). 
Вычислительная проблема
многомерных распределений связана с тем, что многие алгоритмы обучения или ис-
пользования уже обученной модели (особенно те, что основаны на оценивании явной 
функции вероятности) подразумевают вычисления, объем которых экспоненциально 
зависит от числа измерений и превосходит возможности оборудования.

---