Neyron tarmoq asoslari va uni chuqur o'rganish

Рис. 4.27  Усеченный BPTT


Предметно-ориентированные приложения и гибридные сети

Как уже отмечалось, рекуррентные нейронные сети применяются в различных предметных областях, например: транскрипция речи в текст, машинный пере-вод, порождение рукописного текста. РНС оказались также весьма востребованы

0. 
   компьютерном зрении и позволяют решать следующие задачи:  анализ видеоряда на уровне кадров43;  подписывание изображений;  подписывание видео44;  ответы на визуальные вопросы45.
   

Еще одна быстро развивающаяся область исследований в компьютерном зре-

нии – применение РНС для извлечения информации из изображения в результате обработки лишь небольших его участков, это называется рекуррентной моделью зрительного внимания46. Эти модели эффективны при работе с изображениями, загроможденными большим количеством объектов, которые с трудом поддаются классификации с помощью СНС. В таких приложениях СНС применяется для чис­ того восприятия, а РНС – для моделирования временного аспекта.

Стоит отметить еще одну гибридную сеть СНС+РНС из работы Андрея Карпа-того и Ли Фей-Фея47, в которой сеть порождает описания изображений и их участ-ков на естественном языке. Эта модель способна также порождать подписи под изображениями, будучи обучена на наборах данных, состоящих из изображений и соответствующих фраз (рис. 4.28).

0. 
   Srivastava, Mansimov and Salakhutdinov, 2015. Unsupervised Learning of Video Represen­­ tations using LSTMs // https://arxiv.org/abs/1502.04681.
   
1. 
   Venugopalan et al., 2014. Translating Videos to Natural Language Using Deep Recurrent Neural Networks // https://arxiv.org/abs/1412.4729.
   
2. 
   Wu et al., 2016. Image Captioning and Visual Question Answering Based on Attributes and External Knowledge // https://arxiv.org/abs/1603.02814.
   
3. 
   Mnih et al., 2014. Recurrent Models of Visual Attention // https://arxiv.org/abs/1406.6247.
   

0. 
   Karpathy and Fei-Fei, 2014. Deep Visual-Semantic Alignments for Generating Image Descrip­­ tions // https://arxiv.org/abs/1412.2306v2.
   

144  Основные архитектуры глубоких сетей


Рис. 4.28  Пометка изображений с помощью гибридной сети СНС+РНС

Это комбинация СНС и двунаправленной РНС.