Я. Гудфеллоу, И. Бенджио, А. Курвилль

144 

 
Основы машинного обучения 
ния одного ближайшего соседа, когда каждый обучающий пример можно использо-
вать для определения самое большее одной области.
Рис. 5.10 

Как алгоритм ближайшего соседа разбивает пространство 
входов на области. Пример (представлен кружочком) внутри каждой обла-
сти определяет ее границы (представлены прямыми линиями). Значение 
y
, 
ассоциированное с каждым примером, определяет, что будет возвращено 
для всех точек соответствующей области. Области, определяемые сравне-
нием с ближайшим соседом, образуют геометрическую конструкцию, на-
зываемую диаграммой Вороного. Число таких смежных областей не может 
расти быстрее числа обучающих примеров. Хотя на этом рисунке иллюст-
рируется поведение конкретного алгоритма ближайшего соседа, другие 
алгоритмы машинного обучения, опирающиеся для обобщения только на 
априорное предположение о гладкости, демонстрируют аналогичное пове-
дение: каждый обучающий пример информирует алгоритм обучения только 
о том, как производить обобщение в некоторой окрестности этого примера.
Существует ли способ представить сложную функцию, для которой число подле-
жащих различению областей гораздо больше числа обучающих примеров? Очевидно, 
что одного предположения о гладкости функций для этого недостаточно. Предпо-
ложим, к примеру, что выходная функция напоминает шахматную доску. Вариатив-
ность шахматной доски велика, но все варианты укладываются в простую структуру. 
Подумаем, что произойдет, если число обучающих примеров намного меньше числа 
черных и белых клеток. Опираясь только на локальное обобщение и гипотезу о глад-
кости или локальном постоянстве, можно гарантировать, что алгоритм обучения пра-
вильно угадает цвет новой точки, если она находится в одной клетке с каким-нибудь 
обучающим примером. Но нет никакой гарантии, что алгоритм обучения сумеет пра-
вильно обобщить структуру шахматной доски на точки, попадающие в клетки, где 
нет обучающих примеров. Если у нас нет ничего, кроме этого априорного предполо-
жения, то пример может сообщить лишь о цвете своей клетки, и, чтобы узнать цвета 
всех клеток шахматной доски, мы должны поместить в каждую хотя бы один пример.
Предположение о гладкости и соответствующие ему непараметрические алгорит-
мы обучения прекрасно работают, если примеров достаточно, чтобы алгоритм увидел 
верхние точки большинства пиков и нижние точки большинства впадин истинной 
функции. Вообще говоря, это справедливо, когда обучаемая функция достаточно 
гладкая и ее изменение сосредоточено в небольшом числе измерений. В простран-
стве высокой размерности даже очень гладкая функция может изменяться плавно, но 
по-разному вдоль каждого измерения. Если к тому же функция ведет себя различно 

---

Проблемы, требующие глубокого обучения 

145
в разных областях, то обучить ее на наборе примеров может оказаться очень трудно. 
Если функция сложна (т. е. мы хотим различать гораздо больше областей, чем есть 
примеров), то есть ли надежда на хорошую обобщаемость?
Ответ на оба вопроса – можно ли эффективно представить сложную функцию 
и может ли оцененная функция хорошо обобщаться на новые данные – положителен. 
Ключевая идея заключается в том, что очень большое число областей, порядка 
O
(2
k
), 
можно определить с помощью 
O
(
k
) примеров, если только мы введем некоторые зави-
симости между областями посредством дополнительных предположений об истинном 
порождающем распределении. Таким образом, появляется возможность нелокального 
обобщения (Bengio and Monperrus, 2005; Bengio et al., 2006c). И чтобы воспользовать-
ся ей, во многих алгоритмах глубокого обучения принимаются явные или неявные 
предположения, действительные для широкого круга задач ИИ. В других подходах 
к машинному обучению часто делаются еще более сильные, зависящие от задачи до-
пущения. Например, задачу о шахматной доске было бы легко решить, предположив, 
что выходная функция периодическая. Обычно такие сильные предположения не 
включаются в нейронные сети, чтобы сохранить возможность обобщения на гораздо 
более широкий спектр структур. Структура задач ИИ слишком сложна, чтобы ограни-
чиваться простыми, задаваемыми вручную свойствами типа периодичности, поэтому 
мы хотим, чтобы алгоритмы обучения основывались на более универсальных предпо-
ложениях. Основная идея глубокого обучения состоит в том, что данные предположи-
тельно были порождены 
композицией факторов
, или признаков, возможно, организо-
ванных иерархически. Есть много других не менее общих предположений, которые 
позволяют еще повысить качество алгоритмов глубокого обучения. Эти, на первый 
взгляд, скромные предположения позволяют добиться экспоненциального улучше-
ния связи между числом примеров и числом различимых областей. Мы опишем этот 
экспоненциальный выигрыш более точно в разделах 6.4.1, 15.4 и 15.5. Экспоненциаль-
ный выигрыш от применения глубоких распределенных представлений противостоит 
экспоненциальным проблемам, вызванным проклятием размерности.