Я. Гудфеллоу, И. Бенджио, А. Курвилль

293
Рис. 9.10 

Пулинг с понижающей передискретизацией. Здесь max-пу-
линг используется с пулом ширины 3 и шагом 2 между пулами. В результа-
те размер представления уменьшается вдвое, что снижает вычислительную 
и статистическую нагрузки на следующий слой. Отметим, что размер самой 
правой области пулинга меньше остальных, но ее все равно необходимо 
включить, если мы не хотим игнорировать некоторые детекторные блоки
Существуют кое-какие теоретические рекомендации по выбору вида пулинга 
в различных ситуациях (Boureau et al., 2010). Можно также динамически агрегиро-
вать признаки, например путем выполнения алгоритма кластеризации в местах инте-
ресных признаков (Boureau et al., 2011). При таком подходе получаются различные 
множества областей пулинга для каждого изображения. Другой подход – обучить 
единую структуру пулинга и затем применять ее ко всем изображениям (Jia et al., 
2012). Пулинг может внести усложнения в некоторые архитектуры нейронных се-
тей, где используется нисходящая информация, как, например, машины Больцма-
на и автокодировщики. Мы обсудим эти вопросы, когда дойдем до сетей этого типа 
в части III. Пулинг в сверточных машинах Больцмана представлен в разделе 20.6. 
Операции квазиобращения над блоками пулинга, необходимые в некоторых диффе-
ренцируемых сетях, обсуждаются в разделе 20.10.6.
Примеры полных архитектур сети для классификации с использованием свертки 
и пулинга показаны на рис. 9.11.
9.4. Свертка и пулинг как бесконечно сильное 
априорное распределение
Напомним понятие 
априорного распределения вероятности
, введенное в разде-
ле 5.2. Это распределение вероятности параметров модели, в котором закодированы 
наши предварительные – еще до знакомства с данными – предположения о том, какие 
модели считать разумными.
Априорное распределение может быть сильным или слабым в зависимости от 
концентрации плотности вероятности. Слабым называется априорное распределе-
ние с высокой энтропией, например нормальное распределение с большой диспер-
сией. При таком априорном распределении параметры могут сдвигаться в зависи-
мости от данных более или менее свободно. У сильного априорного распределения 
очень низкая энтропия, как, например, у нормального распределения с малой дис-
персией. Такое распределение играет более активную роль в определении конечных 
параметров.
В бесконечно сильном априорном распределении вероятность некоторых парамет-
ров нулевая, т. е. утверждается, что такие значения параметров запрещены вне зави-
симости от того, поддерживаются они данными или нет.

---