Neyron tarmoq asoslari va uni chuqur o'rganish

Применение рекурсивных нейронных сетей

0. 
   рекурсивных и рекуррентных нейронных сетей много общих применений. Ре-курсивные нейронные сети традиционно используются в ОЕЯ в силу присущей им связи с двоичными деревьями, контекстами и анализаторами естественных языков. Например, анализаторы на основе грамматики составляющих могут раз-ложить предложение в двоичное дерево, ориентируясь на его лингвистические свойства. Рекурсивная нейронная сеть налагает ограничение – анализатор дол-жен строить древовидную структуру (обычно подразумевается грамматика со-ставляющих).
   

Рекурсивная нейронная сеть может восстановить как низкоуровневую, так и высокоуровневую иерархическую структуру в наборах изображений или пред-ложений. Вот несколько типичных приложений:

 декомпозиция изображенной сцены;  ОЕЯ;  транскрипция речи в текст.

На практике чаще всего встречаются рекурсивные автокодировщики и рекур-сивные нейронные тензорные сети (RNTN). Первые используются для разложения предложений на сегменты в ОЕЯ. Вторые – для разложения изображения на объ-екты и сопоставления каждому объекту семантической метки.

Рекуррентные нейронные сети обучаются быстрее, поэтому они чаще исполь-зуются в приложениях для работы с временными рядами, но продемонстрирова-на также успешная работа в таких связанных с ОЕЯ задачах, как анализ тональ-ности высказываний.

Итоги и обсуждение

0. 
   этой главе мы рассмотрели основные современные архитектуры, применяемые в глубоком обучении. Сгруппируем их по применениям.
   

 Для порождения данных (например, изображений, звука и текста) исполь-зуются:

– порождающие состязательные сети; – вариационные автокодировщики; – рекуррентные нейронные сети.

146  Основные архитектуры глубоких сетей
 Для моделирования изображений используются: – сверточные нейронные сети; – глубокие сети доверия.
 Для моделирования последовательных данных используются:
– рекуррентные нейронные сети, LSTM.

0. 
   последующих главах мы приведем примеры реального кода для большинства сетей и обсудим особенности их обучения и настройки. В главе 5 мы увидим, как эти концепции претворятся в API библиотеки DL4J. Но прежде поговорим о не-скольких вопросах, часто возникающих в контексте глубокого обучения.