JavaScript для глубокого обучения 2021 TensorFlow js Ббк

310
Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
Рис.
 7.9.
Схематичная иллюстрация главной идеи поиска наиболее активирующего изображения для сверточного фильтра путем 
градиентного подъема в
пространстве входных данных (блок Б) и
отличия этой методики от обычного процесса обучения нейронной сети, 
в 
основе которого лежит градиентный спуск в
пространстве весовых коэффициентов (блок A). Обратите внимание: этот рисунок отличается 
от некоторых предыдущих схем моделей
— весовые коэффициенты вынесены из модели, чтобы подчеркнуть два отдельных набора величин, 
которые можно обновлять путем обратного распространения ошибки: весовые коэффициенты и
входной сигнал

---

Глава 7. Визуализация данных и моделей
311
Рис. 7.10.
Наиболее активирующие входные изображения для четырех слоев глубокой 
сверточной сети VGG16, вычисленные в ходе 80 итераций градиентного подъема 
в пространстве входных данных
z
z
Самый первый слой (
block1_conv1
) чувствителен к простым паттернам, на­
пример к общим значениям цветов и границам фрагментов с определенной 
ориентацией.
z
z
Слои, расположенные на средней глубине в сети (например, 
block2_conv1
), силь­
нее всего реагируют на простые текстуры, основанные на сочетании различных 
паттернов границ фрагментов.
z
z
Фильтры в более глубоко расположенных слоях начинают реагировать на более 
сложные паттерны, напоминающие визуальные признаки на реальных изо­
бражениях (из обучающих данных ImageNet, конечно), например зернистость, 
впадины, цветные полосы, завитки, волны и т. д.
Вообще говоря, по мере углубления в модель паттерны все дальше отходят от 
уровня отдельных пикселов и становятся все более сложными и масштабными, 
отражая то, как глубокая нейронная сеть уровень за уровнем «дистиллирует» при­
знаки, составляя паттерны паттернов. И хотя уровни абстракции фильтров одного 
слоя одинаковы, нюансы паттернов могут существенно различаться, подчеркивая, 
что каждый из слоев формирует несколько взаимно дополняющих представлений 
одного и того же входного сигнала, дабы захватить как можно больше полезной 
информации в целях решения поставленной перед сетью задачи.

---

312