Я. Гудфеллоу, И. Бенджио, А. Курвилль

108 

 
Основы машинного обучения 
Недообучение
Адекватная емкость
Переобучение
y
y
y
x
0
x
0
x
0
Рис. 5.2 

На одном обучающем наборе обучены три модели. Обучаю-
щие данные сгенерированы синтетически: значения 
x
выбирались слу-
чайно, а значения y вычислялись детерминированно путем применения 
квадратичной функции. (
Слева
) Линейная функция, аппроксимирующая 
данные, страдает от недообучения – она не улавливает присущую данным 
кривизну. (
В центре
) Квадратичная функция, аппроксимирующая данные, 
хорошо обобщается на новые точки. Ей не свойственны ни недообучение, 
ни переобучение. (
Справа
) Многочлен степени 9 аппроксимирует данные, 
но страдает от переобучения. Для решения недоопределенной системы 
нормальных уравнений мы воспользовались псевдообратной матрицей 
Мура–Пенроуза. Найденная кривая проходит через все обучающие точки, 
но мы не смогли выявить правильную структуру. Между двумя обучающими 
точками присутствует глубокая впадина, которой нет в истинной функции. 
Кроме того, функция резко возрастает слева от данных, тогда как истинная 
функция в этой области убывает
Пока что мы описали только один способ изменения емкости модели: модифи-
кация числа признаков с одновременным добавлением ассоциированных с этими 
признаками параметров. Но на самом деле есть много способов настройки емко-
сти. Емкость определяется не только выбором модели. Модель задает семейство 
функций, из которого может выбирать алгоритм обучения в процессе варьирования 
параметров. Это называется 
репрезентативной емкостью
модели. Во многих слу-
чаях отыскание наилучшей функции в семействе является трудной задачей опти-
мизации. На практике алгоритм обучения находит не лучшую функцию, а лишь та-
кую, которая существенно уменьшает ошибку обучения. Наличие дополнительных 
ограничений, в частности несовершенство алгоритма оптимизации, означает, что