Neyron tarmoq asoslari va uni chuqur o'rganish

Архитектура рекуррентных нейронных сетей и временные шаги

На каждом временном шаге распространения информации по рекуррентной сети блоки, в которые входные данные поступают через рекуррентные связи, получа-ют активации от текущего входного вектора и от скрытых блоков в предыдущем состоянии сети.

Выход вычисляется по скрытому состоянию на данном временном шаге.Преды-дущий входной вектор на предыдущем временном шаге может оказывать влияние натекущий выход натекущем временном шаге посредством рекуррентных связей.

Мы можем сцеплять эти специализированные рекуррентные нейроны для по-строения лучших моделей. Выход предыдущего слоя соединяется с входом сле­ дующего слоя так же, как в многослойных сетях прямого распространения.

Проблема исчезающего градиента
Известно, что РНС страдают от «проблемы исчезающего градиента». Эта проблема возникает, когда градиент становится слишком мал, и затрудняет моделирование долгосрочных зависимостей (10 и более шагов) во входном наборе данных. Самый эффективный способ борьбы с ней – использовать LSTM-вариант архитектуры РНС, поддерживаемый библиотекой DL4J.
LSTM-сети

LSTM-сети – наиболее распространенный вариант рекуррентных нейронных се-тей. Они были изобретены в 1997 году Хохрайтером и Шмидбауэром37.

Важнейшие элементы LSTM38 – ячейка памяти и вентили (включая вентиль за-бывания39, а также входной вентиль). Содержимое ячейки памяти модулируется входным вентилем и вентилем забывания40. Если оба вентиля закрыты, то содер-жимое ячейки остается неизменным при переходе от предыдущего временного шага к следующему. Вентильная структура позволяет сохранять информацию на протяжении многих временных шагов, а следовательно, обеспечивает течение градиентов во времени. Это позволяет LSTM-модели преодолевать проблему ис-чезающего градиента, терзающую другие виды рекуррентных нейронных сетей.

37 Hochreiter and Schmidhuber, 1997. Long short-term memory // http://www.bioinf.jku.at/ publications/older/2604.pdf.

0. 
   Graves, 2012. Supervised Sequence Labelling with Recurrent Neural Networks // http://www. cs.toronto.edu/~graves/preprint.pdf.
   
1. 
   Gers, Schmidhuber and Cummins, 1999. Learning to Forget: Continual Prediction with LSTM // http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.55.5709&rep=rep1&type=pdf.
   
2. 
   Graves, 2012. Supervised Sequence Labelling with Recurrent Neural Networks // http://www. cs.toronto.edu/~graves/preprint.pdf.
   

Рекуррентные нейронные сети 137