JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Рис. 4.2.
Укрупненная архитектура простой сверточной сети, подобной показанной в листинге 4.1. 
Ради наглядности размеры изображений и промежуточных тензоров меньше, чем в настоящей 
модели, описанной в листинге 4.1. Равно как и размеры сверточных ядер. Обратите внимание, 
что на этой схеме показано по одному каналу в каждом из промежуточных четырехмерных 
тензоров, в то время как в самой модели у промежуточных тензоров несколько каналов
После этого общего обзора сверточной сети для задачи MNIST можем перейти 
к внутреннему устройству слоев нашей модели.
4.2.1. Слой conv2d
Первый слой — слой conv2d, выполняющий двумерную свертку. Это первый свер­
точный слой в книге. Что он делает? Conv2d преобразует изображение в изображе­
ние, а именно, преобразует четырехмерный (NHWC) тензор в другой четырехмер­
ный тензор изображения, возможно, с другими высотой, шириной и количеством 
каналов. (Может показаться странным, что conv2d работает с четырехмерными 
тензорами, но не забудьте, что в них есть два дополнительных измерения: одно для 
батчей, а второе — для каналов.) Интуитивно его можно считать неким аналогом 
группы простых фильтров Photoshop
1
, создающим эффекты наподобие размытия 
1 
Этой аналогией мы обязаны докладу Аши Кришнан «Глубокое обучение на JS» (
Krishnan A.
Deep Learning in JS) на конференции JSConf EU 2018: http://mng.bz/VPa0.

---

Глава 4. Распознавание изображений и звуковых сигналов
155
и наведения на резкость. Эти эффекты достигаются с помощью двумерной свертки 
со «скольжением» небольшого «окна» пикселов (
сверточного ядра
, либо просто 
ядра
) по входному изображению. На каждой позиции в ходе этого «скольжения» 
ядро попиксельно умножается на перекрываемый им небольшой участок входного 
изображения. А затем эти попиксельные произведения суммируются, в результате 
чего получаются пикселы выходного изображения.
Количество параметров слоя conv2d больше, чем у плотного слоя. Два главных 
параметра слоя conv2d — 
kernelSize
и 
filters
. Чтобы понять их суть, сначала при­
дется в общих чертах описать, как происходит двумерная свертка.
На рис. 4.3 приведена подробная схема работы двумерной свертки. Мы пред­
полагаем, что тензор входного изображения 
(слева вверху)
состоит из простого при­
мера данных, чтобы было удобно изображать его на бумаге. Мы также используем 
следующие параметры операции conv2d: 
kernelSize
=
3
и 
filters
=
3
. Ядро пред­
ставляет собой тензор формы 
[3,
3,
2,
3]
, поскольку цветовых каналов здесь два 
(несколько необычный вариант ради удобства иллюстрации), что меньше типич­
ного значения 
3
или 
4
(например, в случае RGB или RGBA). Первые два числа (
3
и 
3
) отражают высоту и ширину ядра, определяемые параметром 
kernelSize
. Третье 
измерение (
2
) — число входных каналов. А что же четвертое измерение (
3
)? Это 
количество фильтров, соответствующее последнему измерению выходного тензора 
операции conv2d.
Итак, пусть свойство 
filters
(число фильтров) слоя conv2d равно 
3
, 
kernelSize
— 
[3,
3]
, 
strides
— 
[1,
1]
, тогда первым шагом двумерной свертки будет «скольжение» 
по измерениям высоты и ширины с выделением маленьких фрагментов исходного 
изображения — высоты 
3
и ширины 
3
— в соответствии со значением 
filterSize
слоя. Глубина также совпадает с исходным изображением. На втором шаге вычисля­
ются скалярные произведения каждого из фрагментов размером 3 
×
3 
×
2 и сверточ­
ного ядра (то есть выполняется фильтрация). Подробности этих операций скаляр­
ного произведения приведены на рис. 4.4. Ядро представляет собой четырехмерный 
тензор и состоит из трех фильтров. Скалярное произведение фрагмента изображения 
и фильтра вычисляется отдельно для каждого из трех фильтров. Фрагмент изобра­
жения умножается на фильтр попиксельно, после чего произведения суммируются 
и получается пиксел выходного тензора. А поскольку ядро содержит три фильтра, 
то каждый из фрагментов изображения преобразуется в «стопку» из трех пикселов. 
Данная операция скалярного произведения проводится над всеми фрагментами 
изображения, а полученные «стопки» из трех пикселов объединяются в выходной 
тензор, в данном случае формы 
[2,
3,
3]
.
Если рассматривать выходной сигнал как тензор изображения (что вполне ло­
гично!), то фильтры можно считать числом каналов выходного сигнала. В отличие 
от входного изображения каналы выходного тензора никакого отношения к цветам 
не имеют, а представляют различные визуальные признаки входного изображения, 
усвоенные моделью из обучающих данных. Например, один фильтр может быть 
чувствителен к проходящим под определенным углом прямолинейным границам 
между темными и светлыми участками изображения, а другой — к углам коричне­
вого цвета и т. д. Мы вернемся к этому вопросу позже.

---