Часть IV • Резюме и заключительное слово
допущения относительно структуры входных данных, образующие пространство
гипотез, в котором посредством обратного распространения ошибки и подбора
гиперпараметров происходит поиск хорошей модели. Подойдет ли конкретная ар
хитектура для име ющейся задачи — зависит всецело от того, насколько структура
данных соответствует допущениям, заложенным в архитектуру сети.
Все эти разные типы сетей можно комбинировать, подобно кубикам LEGO, соз
давая более сложные сети, подходящие для различных типов данных. В некотором
смысле слои глубокого обучения — кубики LEGO для обработки различных видов
информации. Вот краткий список основных типов входных данных и подходящей
для них архитектуры сетей.
z
z
Векторные данные (без временн
ó
й или последовательной упорядоченности) —
MLP (плотные слои).
z
z
Данные изображений (чернобелых, в оттенках серого или цветных) — двумерные
сверточные сети.
z
z
Аудиоданные в виде спектрограмм — двумерные сверточные сети или RNN.
z
z
Текстовые данные — одномерные сверточные сети или RNN.
z
z
Данные временных рядов — одномерные сверточные сети или RNN.
z
z
Объемные пространственные данные (например, определенные виды медицин
ских снимков) — трехмерные сверточные сети.
z
z
Видеоданные (последовательности изображений) — либо трехмерные сверточ
ные сети (при необходимости захвата движений), либо сочетание двумерной
сверточной сети для выделения признаков с последующей RNN или одномер
ной сверточной сетью для обработки полученной при этом последовательности
признаков.
Давайте теперь рассмотрим каждое из этих трех основных семейств архитектур
сетей подробнее и обсудим, для каких задач они подходят и как использовать их
с помощью TensorFlow.js.
Плотносвязные сети и многослойные перцептроны
Понятия
«плотносвязная сеть»
(densely connected network) и «многослойный пер
цептрон» (multilayer perceptron, MLP), по сути, синонимы, разве что плотносвязная
сеть может включать всего один слой, а многослойный перцептрон должен состоять
как минимум из скрытого и выходного слоев. Ради краткости мы будем называть
MLP
все модели, состоящие преимущественно из плотных слоев. Подобные сети
специализируются на обработке неупорядоченных векторных данных (например,
числовых признаков в задачах обнаружения фишинговых вебсайтов и предсказания
цен на недвижимость). Каждый из плотных слоев пытается смоделировать взаимо
связь между всеми возможными парами входных признаков и своими выходными
функциями активации, что достигается посредством матричного умножения ядра
плотного слоя на входной вектор (с последующим прибавлением вектора смещения
и функции активации). А поскольку все входные признаки влияют на все выход
Do'stlaringiz bilan baham: |