JavaScript для глубокого обучения 2021 TensorFlow js Ббк

156
Часть II • Введение в TensorFlow.js
Рис. 4.3.
Функционирование слоя con
v2d на примере. Для простоты предполагаем, что входной тензор 
(слева 
вверху)
содержит только одно 
изображение, а
потому является трехмерным. Его измерения: высота, ширина и
глубина (цветовой канал). Измерение батчей для простоты 
опущено. Глубина тензора входного изображения взята равной 2

---

Глава 4. Распознавание изображений и звуковых сигналов
157
Упомянутое выше «скольжение» представляет собой выделение небольших 
фрагментов из входного изображения. Ширина и высота всех фрагментов рав­
на 
kernelSize
(в данном случае 
3
). А поскольку высота входного изображения 
равна 4, значит, возможны ровно две позиции окна по измерению высоты, ведь 
окно размером 3 
×
3 не должно выходить за границы изображения. Аналогично 
ширина (
5
) входного изображения означает три возможные позиции окна по 
измерению ширины. Следовательно, суммарно выделяется 2 
×
3 = 6 фрагментов 
изображения.
На каждой из позиций окна вычисляется скалярное произведение. Напомним, 
что форма сверточного ядра — 
[3,
3,
2,
3]
. Четырехмерный тензор можно разбить 
по последнему измерению на три отдельных трехмерных тензора формы 
[3,
3,
2]
, 
как показано пунктирными линиями на рис. 4.3. Для получения одного из пикселов 
выходного тензора фрагмент изображения умножается на один из этих трехмерных 
тензоров попиксельно, после чего все полученные 3 
×
3 
×
2 = 18 значений сумми­
руются.
На рис. 4.4 шаг скалярного произведения показан подробнее. Одинаковая форма 
фрагмента изображения и среза сверточного ядра не совпадение — мы выделяли 
фрагменты изображения в соответствии с формой ядра! Операция умножения 
и суммирования повторяется для всех трех срезов ядра, в результате чего мы полу­
чаем набор из трех чисел. Затем эта операция скалярного произведения повторяется 
для оставшихся фрагментов изображения, в результате чего мы получаем шесть 
столбцов трех кубиков нашего тензора. Эти столбцы объединяются, и получается 
выходной тензор с формой HWC 
[2,
3,
3]
.
Рис. 4.4.
Наглядная иллюстрация операции скалярного произведения (умножения 
и суммирования) в ходе двумерной свертки — одного из шагов технологического процесса, 
изображенного на рис. 4.3. Ради наглядности считаем, что фрагмент изображения (x) включает 
только один цветовой канал. Форма фрагмента изображения — [3, 3, 1], то есть такая же, 
как и у среза сверточного ядра (K). В результате первого шага — поэлементного умножения — 
получается еще один тензор формы [3, 3, 1]. Элементы нового тензора суммируются (обозначено 
символом 
Σ
) и получается итоговый результат

---

158