Я. Гудфеллоу, И. Бенджио, А. Курвилль

12.2.1. Предобработка
Во многих приложениях требуется изощренная предварительная обработка, потому 
что исходные данные представлены в виде, малопригодном для архитектур глубоко-
го обучения. В компьютерном зрении объем такой предобработки сравнительно не-
велик. Изображения следует привести к стандартному виду, так чтобы значения всех 
пикселей принадлежали одному и тому же разумному диапазону, например [0,1] или 
[–1, 1]. Если в одних изображениях пиксели лежат в диапазоне [0,1], а в других – 
в диапазоне [0, 255], то попытка их обработать обычно не приводит ни к чему хоро-
шему. Во многих архитектурах компьютерного зрения требуется, чтобы все изобра-
жения были стандартного размера, поэтому их необходимо либо обрезать, либо 
масштабировать. Но даже такое масштабирование не всегда необходимо. Некоторые 
сверточные модели принимают входные данные переменного размера и динамиче-
ски подстраивают свои области пулинга, так чтобы размер выхода был постоянным 
(Waibel et al., 1989). В других сверточных моделях размер выхода переменный, ав-
томатически подстраиваемый под размер входа, например в моделях, предназначен-
ных для очистки от шумов или для пометки каждого пикселя изображения (Hadsell 
et al., 2007).
Пополнение набора данных можно рассматривать как вид предобработки одного 
лишь обучающего набора. В большинстве моделей машинного зрения это отличный 
способ уменьшить ошибку обобщения. На этапе тестирования применима похожая 
идея: предъявить много разных вариантов одного и того же входа (например, одно 
изображение, обрезанное немного по-разному) и организовать голосование разных 

---

382 

 
Приложения
экземпляров модели для определения выхода. Это можно интерпретировать как раз-
новидность ансамблевого подхода, уменьшающего ошибку обобщения.
Другие виды предобработки применяются как к обучающему, так и к тестовому на-
бору с целью привести каждый пример к канонической форме, уменьшив тем самым 
вариативность, которую модель должна учитывать. Снижение степени вариативно-
сти способствует уменьшению ошибки обобщения и размера модели, необходимого 
для аппроксимации обучающего набора. Для решения более простых задач достаточ-
но моделей меньшего размера, а чем проще решение, тем больше шансов, что оно хо-
рошо обобщается. Предобработку такого рода обычно проектируют так, чтобы устра-
нить вариативность, которую проектировщик может легко описать и которая точно 
не имеет существенной связи с основной задачей. При обучении больших моделей на 
больших наборах данных такая предобработка часто излишня, и лучше дать модели 
возможность обучиться всем видам вариативности, к которым она должна быть ин-
вариантна. Например, в системе AlexNet для классификации набора ImageNet есть 
только один шаг предобработки: вычитание среднего значения каждого пикселя, вы-
численного по всем обучающим примерам (Krizhevsky et al., 2012).