Я. Гудфеллоу, И. Бенджио, А. Курвилль

306 

 
Сверточные сети
Рассмотрим, к примеру, собрание изображений, в котором у всех изображений раз-
ная ширина и высота. Не понятно, как можно смоделировать такие входные данные 
с помощью матрицы весов фиксированного размера. А со сверткой никаких проблем 
не возникает; ядро просто применяется разное число раз в зависимости от размера 
входа, и выход операции свертки масштабируется соответственно. Свертку можно 
рассматривать как умножение на матрицу; одно и то же ядро индуцирует дважды 
блочно-циркулянтные матрицы разного размера, зависящего от размера входа. Иног-
да не только вход, но и выход сети может иметь разный размер, например если мы 
хотим сопоставить метку класса каждому входному пикселю. В этом случае ниче-
го специально проектировать не нужно. А бывает и так, что сеть должна порождать 
выход фиксированного размера, например если мы хотим сопоставить одну метку 
класса всему изображению. Тогда следует предпринять дополнительные действия, 
например вставить слой пулинга, в котором области агрегирования масштабируются 
пропорционально размеру входа, чтобы количество выходов пулинга было фиксиро-
ванным. Примеры такой стратегии показаны на рис. 9.11.
Отметим, что использование свертки для обработки входных данных переменного 
размера имеет смысл, только если переменность размера вызвана тем, что вход со-
держит разный объем данных наблюдений одной и той же сущности: аудиозаписи 
разной продолжительности, космические снимки разной ширины и т. д. Свертка не 
имеет смысла, если размер входных данных изменяется, потому что включены раз-
нородные наблюдения. Например, если обрабатываются заявления о поступлении 
в колледж и признаками являются оценки в аттестате и результаты экзаменов, но не 
все поступающие сдают экзамены, то бессмысленно сворачивать одни и те же веса 
с признаками, соответствующими оценкам и результатам экзаменов.