Neyron tarmoq asoslari va uni chuqur o'rganish

Автокодировщики как детекторы аномалий

Обычно автокодировщики используются в системах, где мы знаем, как выглядят обычные данные, но формально описать, что такое аномалия, трудно. Автокодировщики прекрасно работают в качестве движка системы распознавания аномалий.

Вариационные автокодировщики

Вариационные автокодировщики (variational autoencoder – VAE) были предложе-ны сравнительно недавно в работе Кингма и Уэллинга35 (см. рис. 3.8). VAE похожи на сжимающие и шумоподавляющие автокодировщики в том смысле, что обуча-ются реконструировать свой вход без учителя.

0. 
   Vincent et al., 2010. Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion // http://www.jmlr.org/papers/volume11/ vincent10a/vincent10a.pdf.
   

0. 
   Kingma and Welling, 2013. Auto-Encoding Variational Bayes // https://arxiv.org/abs/1312.6114.
   

110  Основания глубоких сетей
Однако механизм обучения VAE совершенно иной. В сжимающих и шумопо-давляющих автокодировщиках значения активации одного слоя отображаются на значения активации следующего слоя, как в стандартной нейронной сети. А в VAE на прямом проходе применяется вероятностный подход.

Кодировщик Декодер

Рис. 3.8  Архитектура сети VAE

1. 
   модели VAE предполагается, что данные x порождаются в два приема: (a) из априорного распределения порождается значение zi ~ p(z) и (b) порождается при-мер в соответствии с некоторым условным распределением xi ~ p(x|z). Конечно, мы не знаем фактических значений z, и точный вывод p(z|x) – вычислительно нераз-решимая задача. Чтобы справиться с этой проблемой, мы аппроксимируем оба распределения, p(z|x) и p(x|z), нейронными сетями – соответственно кодировщи-ком и декодером. Например, если P(z|x) – нормальное распределение, то прямой проход кодировщика даст его параметры μ и σ2.
   

Аналогично параметры распределения P(x|z) дает прямой проход декодера36.

0. 
   общем и целом сеть обучается (методом обратного распространения) максими-зировать нижнюю границу маргинального правдоподобия обучающих данных, log p(x1, ..., xN) . Модель VAE также была обобщена на обучение без учителя на вре-менных рядах – это называется вариационным рекуррентным автокодировщи-ком37. В главе 5 мы увидим практическое применение VAE для генерации цифр после обучения на наборе MNIST.
   

0. 
   Эти параметры распределения не следует путать с параметрами обучаемой сети: на практике это просто значения активации, используемые, например, для задания сред-него и дисперсии нормального распределения или среднего распределения Бернулли.
   
1. 
   Fabius and van Amersfoort, 2014. Variational Recurrent Auto-Encoders // https://arxiv.org/ abs/1412.6581.