Автокодировщики как детекторы аномалий
Обычно автокодировщики используются в системах, где мы знаем, как выглядят обычные данные, но формально описать, что такое аномалия, трудно. Автокодировщики прекрасно работают в качестве движка системы распознавания аномалий.
Вариационные автокодировщики
Вариационные автокодировщики (variational autoencoder – VAE) были предложе-ны сравнительно недавно в работе Кингма и Уэллинга35 (см. рис. 3.8). VAE похожи на сжимающие и шумоподавляющие автокодировщики в том смысле, что обуча-ются реконструировать свой вход без учителя.
Vincent et al., 2010. Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion // http://www.jmlr.org/papers/volume11/ vincent10a/vincent10a.pdf.
Kingma and Welling, 2013. Auto-Encoding Variational Bayes // https://arxiv.org/abs/1312.6114.
110 Основания глубоких сетей
Однако механизм обучения VAE совершенно иной. В сжимающих и шумопо-давляющих автокодировщиках значения активации одного слоя отображаются на значения активации следующего слоя, как в стандартной нейронной сети. А в VAE на прямом проходе применяется вероятностный подход.
Кодировщик Декодер
Рис. 3.8 Архитектура сети VAE
модели VAE предполагается, что данные x порождаются в два приема: (a) из априорного распределения порождается значение zi ~ p(z) и (b) порождается при-мер в соответствии с некоторым условным распределением xi ~ p(x|z). Конечно, мы не знаем фактических значений z, и точный вывод p(z|x) – вычислительно нераз-решимая задача. Чтобы справиться с этой проблемой, мы аппроксимируем оба распределения, p(z|x) и p(x|z), нейронными сетями – соответственно кодировщи-ком и декодером. Например, если P(z|x) – нормальное распределение, то прямой проход кодировщика даст его параметры μ и σ2.
Аналогично параметры распределения P(x|z) дает прямой проход декодера36.
общем и целом сеть обучается (методом обратного распространения) максими-зировать нижнюю границу маргинального правдоподобия обучающих данных, log p(x1, ..., xN) . Модель VAE также была обобщена на обучение без учителя на вре-менных рядах – это называется вариационным рекуррентным автокодировщи-ком37. В главе 5 мы увидим практическое применение VAE для генерации цифр после обучения на наборе MNIST.
Эти параметры распределения не следует путать с параметрами обучаемой сети: на практике это просто значения активации, используемые, например, для задания сред-него и дисперсии нормального распределения или среднего распределения Бернулли.
Fabius and van Amersfoort, 2014. Variational Recurrent Auto-Encoders // https://arxiv.org/ abs/1412.6581.
Do'stlaringiz bilan baham: |