Я. Гудфеллоу, И. Бенджио, А. Курвилль

5.3.1. Перекрестная проверка
Разделение набора данных на фиксированные обучающий и тестовый становится 
проблематичным, если в тестовом наборе оказывается слишком мало данных. Малый 
тестовый набор – причина статистической недостоверности в оценке средней ошиб-
ки тестирования, из-за которой трудно утверждать, что алгоритм 
A
работает лучше 
алгоритма 
B
на конкретной задаче.
Если набор данных насчитывает сотни тысяч и более примеров, то особой пробле-
мы не возникает. Но когда набор данных мал, можно прибегнуть к альтернативным 
про цедурам, которые позволяют использовать все примеры для оценивания средней 
ошибки тестирования ценой увеличения объема вычислений. Идея этих процедур – 
в том, чтобы повторять обучение и оценку на разных случайно выбранных подмно-
жествах (разделениях) исходного набора данных. Наиболее распространена процедура 
k
-групповой перекрестной проверки (алгоритм 5.1), в которой набор данных разбивает-
ся на 
k
непересекающихся подмножеств. Ошибку тестирования можно оценить, усред-
нив ошибки тестирования по 
k
испытаниям. В ходе 
i
-го испытания 
i
-е подмножество 
используется в качестве тестового набора, а остальные данные – в качестве обучающе-
го. Проблема в том, что не существует несмещенных оценок дисперсии такой средней 
ошибки (Bengio and Grandvalet, 2004), но обычно используются аппроксимации.
5.4. Оценки, смещение и дисперсия
Математическая статистика дает много инструментов для достижения основной 
цели машинного обучения: не только решить задачу на обучающем наборе, но и обес-
печить возможность обобщения. Такие фундаментальные понятия, как оценивание 
параметров, смещение и дисперсия, полезны для формальной характеристики обоб-
щения, недообучения и переобучения.

---