Neyron tarmoq asoslari va uni chuqur o'rganish

Перекрестная энтропия реконструкции

0. 
   данном случае целевой функцией является перекрестная энтропия реконструкции, или расхождение Кульбака–Лейблера (математики-криптаналитики Соломон Кульбак и Ричард Лейблер опубликовали статью на эту тему в 1951 году). Слово «перекрестная» намекает
   

0. 
   Yosinksi and Lipson, 2012. Visually Debugging Restricted Boltzmann Machine Training with a 3D Example // http://yosinski.com/media/papers/Yosinski2012VisuallyDebuggingRestrictedBoltz mannMachine.pdf.
   

108  Основания глубоких сетей
на сравнение двух распределений, а «энтропия» – понятие из теории информации, харак-теризующее неопределенность. Например, нормальная кривая с широким разбросом, или дисперсией, характеризуется высокой неопределенностью местонахождения точки, т. е вы-сокой энтропией.


Другие применения ОМБ

ОМБ применяются и в других задачах:

 понижение размерности;
 классификация;
 регрессия;
 коллаборативная фильтрация;
 тематическое моделирование.


Автокодировщики

Автокодировщики применяются для обучения сжатых представлений наборов данных. Как правило, это нужно для понижения размерности набора данных. Вы-ходом сети автокодировщика является более компактная реконструкция входных данных.

Сходство с многослойным перцептроном

Автокодировщики напоминают многослойный перцептрон в том смысле, что имеют входной слой, несколько скрытых слоев и выходной слой. Основное отли-чие заключается в том, что в выходном слое автокодировщика всегда столько же блоков, сколько во входном. На рис. 3.7 показана схема автокодировщика.

Входной слой Бутылочное горлышко Реконструкция сети

Рис. 3.7  Архитектура сети автокодировщика

Помимо размера выходного слоя, существуют и другие отличия, которые мы опишем ниже.

Строительные блоки глубоких сетей 109