Я. Гудфеллоу, И. Бенджио, А. Курвилль

контрольный набор
примеров, которых 
алгоритм не видел в процессе обучения.
Выше мы обсуждали, как можно использовать тестовый набор примеров, выбран-
ных из того же распределения, что и обучающий, для оценки ошибки обобщения 
уже после завершения процесса обучения. Важно, что тестовые примеры вообще не 
используются для принятия каких-либо решений о модели, в т. ч. и касающихся ее 
гиперпараметров. Поэтому ни один пример из тестового набора не должен входить 
в контрольный. Следовательно, контрольный набор всегда формируется из 
обучаю-

---

Оценки, смещение и дисперсия 

115
щих
данных. Точнее, мы разбиваем обучающие данные на два непересекающихся под-
множества. Одно из них используется для обучения параметров, а другое является 
контрольным набором и служит для оценки ошибки обобщения во время обучения 
или по его завершении; это позволяет подстраивать гиперпараметры. Подмножество 
данных, используемое для обучения параметров, по-прежнему называется обучаю-
щим набором, несмотря на возможную путаницу с более широким набором данных, 
фигурирующим в процессе всего обучения. Подмножество данных, используемое для 
управления выбором гиперпараметров, называется контрольным набором. Обычно 
80% всех обучающих данных резервируется для обучения, а 20% – для контроля. По-
скольку контрольный набор используется для «обучения» гиперпараметров, ошибка 
на контрольном наборе является заниженной оценкой ошибки обобщения, но, как 
правило, на меньшую величину, чем ошибка обучения. По завершении оптимизации 
гиперпараметров ошибку обобщения можно оценить на тестовом наборе.
На практике, когда один и тот же тестовый набор на протяжении многих лет ис-
пользуется для оценки качества различных алгоритмов, а научное сообщество при-
лагает максимум усилий, чтобы превысить предыдущие достижения именно на этом 
наборе, дело заканчивается тем, что результаты, измеренные на тестовом наборе, ока-
зываются чрезмерно оптимистичными. То, что раньше считалось эталоном, устаре-
вает и перестает отражать истинное качество обученной системы на реальных дан-
ных. Тогда сообщество постепенно переходит на новый (обычно более амбициозный 
и объемный) эталонный набор данных.