Я. Гудфеллоу, И. Бенджио, А. Курвилль

15.6. Ключ к выявлению истинных причин
В заключение этой главы вернемся к одному из исходных вопросов: благодаря чему 
одно представление оказывается лучше другого? В разделе 15.3 мы дали один ответ: 
идеальным является представление, которое разделяет каузальные факторы вариатив-
ности данных, особенно те, что напрямую относятся к нашему приложению. Большин-
ство стратегий обучения представлений основано на введении ключей, которые по-
могают процедуре обучения находить факторы вариативности. Ключи могут помочь 
обучаемому отделить эти наблюдаемые факторы от остальных. В обучении с учите-
лем имеется очень сильный ключ: метка 
y
, сопровождающая каждый вход 
x
; обычно 
она непосредственно задает значение, по меньшей мере, одного фактора вариативно-
сти. В более общем случае, чтобы воспользоваться большим объемом непомеченных 
данных, процедура обучения представления пользуется другими, не столь прямыми 
подсказками, касающимися каузальных факторов. Эти подсказки могут иметь вид 

---

Ключ к выявлению истинных причин 

467
априорных предположений, вводимых проектировщиками алгоритма, для того чтобы 
направить обучаемого в нужную сторону. Такие результаты, как теорема об отсутствии 
бесплатных завтраков, показывают, что для достижения хорошей обобщае мости не-
обходима какая-то стратегия регуляризации. Конечно, найти превосходную во всех 
отношениях стратегию регуляризации невозможно, но одна из целей глубокого обуче-
ния – отыскать набор достаточно общих стратегий, применимых к широкому спектру 
задач ИИ типа тех, с которыми легко справляются люди и животные.
Ниже приведен список этих общих стратегий регуляризации. Конечно, он не исчер-
пывающий, но содержит конкретные примеры того, как алгоритм обучения можно на-
править на выявление признаков, соответствующих каузальным факторам. Этот список 
приведен в разделе 3.1 работы Bengio et al. (2013d) и частично воспроизводится здесь.