Neyron tarmoq asoslari va uni chuqur o'rganish


Автокодировщики как детекторы аномалий



Download 3,8 Mb.
bet76/112
Sana11.06.2022
Hajmi3,8 Mb.
#655828
TuriГлава
1   ...   72   73   74   75   76   77   78   79   ...   112
Bog'liq
2 bo\'lim (2)

Автокодировщики как детекторы аномалий

Обычно автокодировщики используются в системах, где мы знаем, как выглядят обычные данные, но формально описать, что такое аномалия, трудно. Автокодировщики прекрасно работают в качестве движка системы распознавания аномалий.




Вариационные автокодировщики

Вариационные автокодировщики (variational autoencoder – VAE) были предложе-ны сравнительно недавно в работе Кингма и Уэллинга35 (см. рис. 3.8). VAE похожи на сжимающие и шумоподавляющие автокодировщики в том смысле, что обуча-ются реконструировать свой вход без учителя.



  1. Vincent et al., 2010. Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion // http://www.jmlr.org/papers/volume11/ vincent10a/vincent10a.pdf.




  1. Kingma and Welling, 2013. Auto-Encoding Variational Bayes // https://arxiv.org/abs/1312.6114.

110  Основания глубоких сетей
Однако механизм обучения VAE совершенно иной. В сжимающих и шумопо-давляющих автокодировщиках значения активации одного слоя отображаются на значения активации следующего слоя, как в стандартной нейронной сети. А в VAE на прямом проходе применяется вероятностный подход.

Кодировщик Декодер




Рис. 3.8  Архитектура сети VAE



    1. модели VAE предполагается, что данные x порождаются в два приема: (a) из априорного распределения порождается значение zi ~ p(z) и (b) порождается при-мер в соответствии с некоторым условным распределением xi ~ p(x|z). Конечно, мы не знаем фактических значений z, и точный вывод p(z|x) – вычислительно нераз-решимая задача. Чтобы справиться с этой проблемой, мы аппроксимируем оба распределения, p(z|x) и p(x|z), нейронными сетями – соответственно кодировщи-ком и декодером. Например, если P(z|x) – нормальное распределение, то прямой проход кодировщика даст его параметры μ и σ2.

Аналогично параметры распределения P(x|z) дает прямой проход декодера36.





  1. общем и целом сеть обучается (методом обратного распространения) максими-зировать нижнюю границу маргинального правдоподобия обучающих данных, log p(x1, ..., xN) . Модель VAE также была обобщена на обучение без учителя на вре-менных рядах – это называется вариационным рекуррентным автокодировщи-ком37. В главе 5 мы увидим практическое применение VAE для генерации цифр после обучения на наборе MNIST.


  1. Эти параметры распределения не следует путать с параметрами обучаемой сети: на практике это просто значения активации, используемые, например, для задания сред-него и дисперсии нормального распределения или среднего распределения Бернулли.

  2. Fabius and van Amersfoort, 2014. Variational Recurrent Auto-Encoders // https://arxiv.org/ abs/1412.6581.


Download 3,8 Mb.

Do'stlaringiz bilan baham:
1   ...   72   73   74   75   76   77   78   79   ...   112




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish