Neyron tarmoq asoslari va uni chuqur o'rganish

Рис. 4.21  Упрощенное представление многослойной сети

прямого распространения

0. 
   рекуррентных нейронных сетях вводится идея связи между выходом нейрона скрытого слоя и входом другого (или того же самого) нейрона того же скрытого слоя. Это позволяет подавать на вход нейрона информацию с предыдущего вре-менного шага.
   

На рис. 4.22 рекуррентные связи показаны на «сплющенном» представлении сети.

Входной

слой
Скрытый

слой 1
Скрытый

слой 2
Выходной

слой

Рис. 4.22  Рекуррентные связи в скрытых слоях

На рис. 4.23 показано «развернутое» представление той же сети, что на рис. 4.22. Мы видим, что информация распространяется по сети в прямом направлении и «сквозь время».

Как мы увидим в следующем разделе, в LSTM-сетях по рекуррентной связи пе-редается больше информации, чем в традиционных РНС.

Элемент LSTM-сети

Элемент слоя РНС – вариант классического искусственного нейрона. У каждого элемента LSTM-сети имеются связи двух типов:

 связи с предыдущим временным шагом (выходы блоков на этом шаге);  связи с предыдущим слоем.

Главнойидеей,благодарякоторойLSTM-сетьможетзапоминатьсостояние,явля-ется ячейка памяти. Тело элемента LSTM-сети называется блоком LSTM (рис. 4.24).

Перечислим компоненты блока LSTM:


 три вентиля:
— входной вентиль (вентиль модуляции входа);

— вентиль забывания;

— выходной вентиль;

 вход блока;

Рекуррентные нейронные сети 139