Neyron tarmoq asoslari va uni chuqur o'rganish

Рекурсивные нейронные сети

Рекурсивные нейронные сети, как и рекуррентные, могут работать с входными данными переменной длины. Основное отличие заключается в том, что рекур-сивная сеть способна моделировать иерархические структуры в обучающем набо-ре данных. Изображение обычно содержит сцену, на которой присутствует много объектов. Деконструкция сцены часто представляет собой интересную, но нетри-виальную проблему. Требуется не только идентифицировать объекты на сцене, но

0. 
   понять, как они соотносятся друг с другом, – в этом проявляется рекурсивный характер деконструкции.
   

Архитектура сети

Архитектурно рекурсивная нейронная сеть состоит из матрицы разделяемых ве-сов и двоичного дерева, наделяющего сеть способностью обучаться последова-тельностям слов или частей изображения, имеющим переменную длину. Такие сети полезны для анализа изображений и предложений. Для обучения исполь-зуется алгоритм обратного распространения сквозь структуру (backpropagation through structure – BPTS). Прямой проход выполняется снизу вверх, обратный – сверху вниз. Можно считать, что цель находится на вершине дереве, а входные данные расположены внизу.

Итоги и обсуждение 145
Разновидности рекурсивных нейронных сетей

Есть несколько видов рекурсивных нейронных сетей. Один из них – рекурсивный автокодировщик. Как и его тезка прямого распространения, рекурсивный авто-кодировщик обучается воспроизводить вход. Конкретно в случае ОЕЯ он учится воспроизводить контексты. Результатом обучения рекурсивного автокодировщи-ка с частичным привлечением учителя являются правдоподобия определенных меток в каждом контексте.

Еще один вид – рекурсивная нейронная тензорная сеть, обучаемая с учителем, которая вычисляет цель в каждом узле дерева. Слово «тензорная» в названии озна­ чает, что градиент вычисляется несколько иначе, включая больше информации в каждом узле, для чего нужен тензор (матрица с тремя и более измерениями).