Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
, соблюдая при 
этом ограничения, призванные сделать представление проще или понятнее, чем само 
x
.
Определить более простое представление можно многими способами. Три самых 
распространенных: представления меньшей размерности, разреженные представле-
ния и независимые представления. В случае понижения размерности мы пытаемся 
спрессовать как можно больше информации об 
x
в представление меньшего разме-
ра. Разреженное представление (Barlow, 1989; Olshausen and Field, 1996; Hinton and 
Ghahramani, 1997) – это погружение набора данных в представление, где большинству 
входов соответствуют нули. В этом случае размерность представления обычно увели-
чивается, так чтобы наличие многих нулей не приводило к отбрасыванию слишком 
большого объема информации. В результате получается представление, в котором 
данные распределены в основном вдоль осей. Независимые представления – это по-
пытка разделить источники вариативности в истинном распределении данных, чтобы 
измерения представления оказались статистически независимыми.

---

Алгоритмы обучения без учителя 

135
Разумеется, эти критерия не исключат друг друга. Представления низкой размер-
ности часто дают элементы, между которыми меньше зависимостей или зависимости 
более слабые, чем в исходных данных высокой размерности. Так происходит, потому 
что один из способов уменьшить размер представления – найти и устранить избы-
точность. Чем больше избыточности удается устранить, тем больше степень сжатия 
и тем меньше потери информации.
Понятие представления – одна из центральных тем глубокого обучения, а вместе 
с тем и книги. В этом разделе мы приведем несколько простых алгоритмов обучения 
представлений. В совокупности эти примеры показывают, как вышеупомянутые кри-
терии выглядят на практике. В последующих главах будут описаны дополнительные 
алгоритмы обучения представлений, где эти критерии развиваются в разных направ-
лениях или вводятся новые.