Я. Гудфеллоу, И. Бенджио, А. Курвилль

112 

 
Основы машинного обучения 
ограниченного множества примеров, не является логически корректным. Чтобы вы-
вести правило, описывающее каждый элемент множества, необходимо иметь инфор-
мацию о каждом элементе.
Машинное обучение позволяет частично обойти эту проблему, поскольку пред-
лагает только вероятностные правила, а не однозначно определенные, как в чистой 
логике. Машинное обучение обещает найти правила, с некоторой вероятностью спра-
ведливые для большинства элементов множества.
К сожалению, даже это не решает проблему полностью. 
Теорема об отсутствии 
бесплатных завтраков
в машинном обучении (Wolpert, 1996) утверждает, что в сред-
нем по всем возможным порождающим определениям у любого алгоритма классифи-
кации частота ошибок классификации ранее не наблюдавшихся примеров одинакова. 
Самый изощренный алгоритм, который мы только можем придумать, в среднем (по 
всем возможным задачам) дает такое же качество, как простейшее предсказание: все 
точки принадлежат одному классу.
По счастью, эти результаты справедливы, только если производить усреднение по 
всем возможным порождающим распределениям. Если сделать предположения о ви-
дах распределений вероятности, встречающихся в реальных приложениях, то можно 
спроектировать алгоритмы обучения, хорошо работающие для таких распределений.
Это означает, что цель работ по машинному обучению – не в том, чтобы найти 
универсальный или самый лучший алгоритм обучения, а в том, чтобы понять, какие 
виды распределений характерны для «реального мира», в котором функционирует 
агент ИИ, и какие виды алгоритмов машинного обучения хорошо работают для инте-
ресных нам порождающих распределений.
5.2.2. Регуляризация
Из теоремы об отсутствии бесплатных завтраков следует, что алгоритмы машинно-
го обучения нужно проектировать, так чтобы они хорошо работали для конкретной 
задачи. Для этого мы встраиваем в алгоритм набор предпочтений. Если эти пред-
почтения согласованы с задачами, которые решает алгоритм, то он будет работать 
лучше.
До сих пор мы обсуждали только один способ модификации алгоритма обучения: 
увеличение или уменьшение репрезентативной емкости модели путем добавления 
или удаления функций в пространстве гипотез, описывающем, какие решения мо-
жет выбирать алгоритм. Мы привели пример: увеличение или уменьшение степени 
многочлена в задаче регрессии. Но это чрезмерно упрощенный взгляд на вещи.
На поведение алгоритма сильно влияет не только разнообразие множества 
функций в пространстве гипотез, но и конкретный вид этих функций. Для алго-
ритма линейной регрессии пространство гипотез состояло из множества линейных 
функций от входных данных. Они могут быть полезны для задач, в которых связь 
между входом и выходом действительно близка к линейной. Но если поведение 
нелинейно, то полезность оказывается куда меньше. Например, линейная регрес-
сия покажет плачевные результаты при попытке предсказать поведение функции 
sin(
x
). Таким образом, мы можем контролировать качество алгоритма, выбирая 
вид функций, которые могут выступать в роли решения, а также управляя количе-
ством таких функций.
Кроме того, мы можем настроить алгоритм обучения, так чтобы он отдавал пред-
почтение определенным решениям из пространства гипотез. Это означает, что до-

---

Емкость, переобучение и недообучение 

113
пустимы функции любого вида, но при прочих равных условиях выбираться будет 
функция предпочтительного вида. Другое решение будет выбрано, только если оно 
аппроксимирует обучающие данные значительно лучше предпочтительного.
Например, в критерий обучения для линейной регрессии можно включить сниже-
ние весов. Для выполнения линейной регрессии со снижением весов мы пытаемся 
минимизировать сумму, состоящую из среднеквадратической ошибки на обучающих 
данных и критерия 
J
(