Neyron tarmoq asoslari va uni chuqur o'rganish

Свойства LSTM-сетей

LSTM-сети известны следующими свойствами:  улучшенные уравнения обновления;  улучшенное обратное распространение.

Приведем несколько примеров использования LSTM-сетей:


 генерация последовательностей (например, в языковых моделях языка на уровне символов);


 классификация временных рядов;
 распознавание речи;
 распознавание рукописного текста;
 полиморфное моделирование музыки.
LSTM и двунаправленные рекуррентные нейронные сети (Bidirectional Recur-rent Neural Networks – BRNN) в последние годы стали основным средством реше-ния следующих задач:
 подписывание изображений;
 машинный перевод;
 распознавание рукописного текста.
LSTM-сеть, состоящая из большого числа связанных ячеек памяти, эффективно обучается.


Замечание о сложности обучения LSTM

Вычислительная сложность прямого и обратного проходов линейно зависит от числа вре-менных шагов во входной последовательности.

Далее мы кратко опишем архитектуру и компоненты LSTM-сети.

Архитектура LSTM-сети

Ранее в этой книге была представлена концепция многослойной нейронной сети прямого распространения (рис. 4.20).

Входные Входной Скрытый Скрытый Выходной

значения слой слой 1 слой 2 слой

Рис. 4.20  Архитектура многослойной нейронной сети

прямого распространения

138  Основные архитектуры глубоких сетей
Мы можем «сплющить» это представление, показав каждый слой сети в виде одного узла, как на рис. 4.21.

Входные	Входной	Скрытый	Скрытый	Выходной	Выходные
значения	слой	слой 1	слой 2	слой	значения