Я. Гудфеллоу, И. Бенджио, А. Курвилль

разделах мы опишем базовые принципы, лежащие в основе проектирования алгорит-
мов обучения, и продемонстрируем, как эти принципы применяются к построению 
более сложных алгоритмов.
5.2. Емкость, переобучение и недообучение
Главная проблема машинного обучения состоит в том, что алгоритм должен хорошо 
работать на новых данных, которых он раньше не видел, а не только на тех, что ис-
пользовались для обучения модели. Эта способность правильной работы на ранее не 
предъявлявшихся данных называется 
обобщением
.

---

106 

 
Основы машинного обучения 
Обычно при обучении модели мы имеем доступ к обучающему набору: можем вы-
числить некоторую меру ошибки на обучающем наборе, которая называется 
ошибкой 
обучения
, и постараться минимизировать ее. То, что мы только что описали, – всего 
лишь задача оптимизации. Машинное обучение отличается от оптимизации тем, что 
мы хотим еще и уменьшить 
ошибку обобщения
(ее также называют 
ошибкой тес-
тирования
). Ошибка обобщения – это математическое ожидание ошибки на новых 
входных данных. Здесь математическое ожидание вычисляется по возможным вход-
ным данным, выбираемым из распределения, которое, как мы думаем, может встре-
титься на практике.
Как правило, для оценки ошибки обобщения модели измеряется ее качество на 
тестовом наборе данных, отдельном от обучающего набора.
В примере линейной регрессии мы обучали модель путем минимизации следую-
щей ошибки обучения:
(5.14)
но в действительности нас интересует ошибка тестирования 
Как можно повлиять на качество работы на тестовом наборе, если для наблюдения 
доступен только обучающий набор? Некоторые ответы дает 
теория статистического 
обучения
. Если обучающий и тестовый наборы готовились произвольным образом, 
то действительно мало что можно сделать. Но если разрешено делать предположения 
о порядке сбора данных для обучающего и тестового наборов, то удается продвинуть-
ся дальше.
Обучающий и тестовый наборы генерируются из распределения вероятности тес-
товых наборов