Neyron tarmoq asoslari va uni chuqur o'rganish

Рекуррентные нейронные сети

Рекуррентные нейронные сети (РНС) – семейство сетей прямого распростране-ния. Их отличие от других подобных сетей состоит в том, что они могут пере-давать информацию между временными шагами. Вот любопытное объяснение рекуррентных нейронных сетей, предложенное Юргеном Шмидхубером:

[Рекуррентные нейронные сети] позволяют производить как параллельные, так

0. 
   последовательные вычисления и в принципе способны вычислить все, что может вычислить традиционный компьютер. Но, в отличие от традиционных компьюте-ров, рекуррентные нейронные сети напоминают человеческий мозг, представляю-щий собой большую сеть взаимосвязанных нейронов с обратной связью, которая каким-то образом обучается транслировать входной поток чувственных ощуще-ний, полученных на протяжении всей жизни, в последовательность полезных мо-торных реакций. Мозг – потрясающий образец для подражания, поскольку он умеет решать задачи, недоступные современным машинам.
   

Поначалу обучать эти сети было трудно, но недавние достижения (оптимиза-ция, сетевые архитектуры, распараллеливание и графические процессоры) сдела-ли их доступными для практического применения.

Рекуррентная нейронная сеть выбирает по одному вектору из входной после-довательности и моделирует его. Это позволяет сети сохранять состояние на про-тяжении некоторого окна входных векторов. Моделирование временных рядов – отличительная особенность РНС.

Моделирование времени

Рекуррентные нейронные сети являются полными по Тьюрингу, т. е. могут имити-ровать любую программу (при наличии достаточно большого количества весов). Если рассматривать нейронные сети как механизм оптимизации функций, то РНС можно назвать «оптимизацией программ». РНС подходят для моделирования функций, вход и (или) выход которых состоят из векторов, между значениями ко-торых имеются временные зависимости. РНС моделируют временной аспект дан-ных посредством создания циклов в сети (отсюда и название «рекуррентные»).