Я. Гудфеллоу, И. Бенджио, А. Курвилль

процессом генерации данных
. Обычно считаются справедливыми 
предположения, в совокупности называемые 
i.i.d.
(independent and identically-dis-
tributed), а именно: примеры в каждом наборе 
независимы
и оба набора 
одинаково 
распределены
, т. е. выбираются из одного и того же распределения вероятности. Это 
общее распределение называется 
порождающим распределением
и обозначается 
p
data
. При таких предположениях мы можем математически проанализировать связь 
между ошибкой обучения и ошибкой тестирования.
Сразу заметим, что ожидаемая ошибка обучения случайно выбранной модели рав-
на ожидаемой ошибке тестирования той же модели. Пусть имеется распределение ве-
роятности 
p
(
x
, 
y
), и мы повторно производим из него выборку для генерации обучаю-
щего и тестового наборов. Для фиксированного значения 
w
ожидаемая ошибка на 
обучающем наборе в точности равна ожидаемой ошибке на тестовом наборе, потому 
что оба математических ожидания являются результатом одного и того же процесса 
выборки. Разница лишь в названии набора данных.
Конечно, при использовании алгоритма машинного обучения мы не фиксируем 
параметров заранее, с тем чтобы потом произвести выборку обоих наборов данных. 
Мы выбираем обучающий набор, используем его для минимизации ошибки обуче-
ния, а затем выбираем тестовый набор. При таком процессе ожидаемая ошибка тести-
рования больше или равна ожидаемой ошибке обучения. Факторов, определяющих 
качество работы алгоритма машинного обучения, два:
1) сделать ошибку обучения как можно меньше;
2) сократить разрыв между ошибками обучения и тестирования.

---

Емкость, переобучение и недообучение 
