Я. Гудфеллоу, И. Бенджио, А. Курвилль

12.2.1.2. Пополнение набора данных
Как было сказано в разделе 7.4, повысить обобщаемость классификатора можно, 
прос то увеличив размер обучающего набора путем добавления копий примеров, ко-
торые были модифицированы с помощью преобразований, не изменяющих класса. 
Такой вид пополнения набора данных особенно хорош в применении к распознава-
нию объектов, поскольку класс инвариантен к самым разным преобразованиям, так 
что ко входу можно применить различные геометрические операции. Как уже отме-
чалось, классификатор можно улучшить, если включить в набор данных случайные 
параллельные переносы, повороты, а в некоторых случаях и отражения изображения 
относительно оси. В специализированных приложениях компьютерного зрения на-
бор пополняют и результатами более сложных преобразований, например случайно-
го возмущения цветов (Krizhevsky et al., 2012) и нелинейного геометрического иска-
жения входа (LeCun et al., 1998b).
12.3. Распознавание речи
Задача распознавания речи состоит в том, чтобы отобразить акустический сигнал, 
содержащий текст, произнесенный на естественном языке, в последовательность 
слов. Обозначим 
X
= (
x
(1)
, 
x
(2)
, …, 
x
(
Т
)
) последовательность векторов акустического 
входа (обычно получаемую разбиением сигнала на отрезки длительностью 20 мс). 
В большинстве систем распознавания речи для предобработки входа используются 
специальные спроектированные вручную признаки, но некоторые системы глубоко-
го обучения (Jaitly and Hinton, 2011) обучаются признакам прямо на исходных дан-
ных. Обозначим 
y
= (
y
1
, 
y
2
, …, 
y
N
) целевую выходную последовательность (обычно по-
следовательность слов или символов). Задача