Neyron tarmoq asoslari va uni chuqur o'rganish

Рис. 4.19  Маскирование временных шагов


Почему не марковские модели?

Для учета времени было бы естественно подумать об использовании марковских моделей36. Это еще один класс моделей машинного обучения, широко применяе-мый для моделирования последовательностей. Но их применение ограничивает тот факт, что с ростом контекстного окна объем вычислений становится слишком велик, так что моделировать с их помощью долгосрочные зависимости невозмож-но.

Рекуррентные нейронные сети (коннекционистские модели) лучше марков-ских моделей (и других моделей с временным окном), потому что могут улав-ливать долгосрочные временные зависимости в данных. Связано это с тем, что

0. 
   скрытом состоянии РНС запоминается информация из сколь угодно длинного контекстного окна, так что ограничения, присущие другим методам, отсутствуют. Более того, количество состояний, моделируемых с помощью такой сети, пред-ставлено скрытым слоем, и это количество экспоненциально зависит от числа блоков в слое. Поэтому РНС прекрасно справляется с улавливанием большого объ-ема зависящей от времени информации во многих входных векторах.
   

Рекуррентные нейронные сети, скрытые слои и число состояний
Если бы на вход подавались только бинарные значения (0,1), то сеть смогла бы пред-ставить 2N состояний, где N – число узлов в скрытом слое. Если бы на выходе были вещественные 64-разрядные числа, то один скрытый слой мог бы представить 264N различных состояний.

Время обучения такой сети растет всего лишь квадратично с ростом числа скрытых блоков, а ее выразительная мощность при этом растет экспоненциально.

0. 
   https://en.wikipedia.org/wiki/Hidden_Markov_model.
   

136  Основные архитектуры глубоких сетей
Общая архитектура рекуррентной нейронной сети

Рекуррентные нейронные сети – надмножество сетей прямого распространения, характеризующееся добавлением рекуррентных связей (или рекуррентных ре-бер). Они связывают соседние временные шаги, внося в модель концепцию вре-мени. Традиционные связи в РНС не содержат циклов, но рекуррентные связи могут образовывать циклы, в т. ч. связи от нейрона на будущем временном шаге к нему же в прошлом.