Neyron tarmoq asoslari va uni chuqur o'rganish

 Многие к одному: последовательность на входе. Например, в задаче анали-за тональности на вход подается предложение – последовательность слов.
 Многие ко многим. Например, в задаче классификации видеоряда следует снабдить меткой каждый кадр.

Посмотрим теперь, как представляются входные данные.

Трехмерный вход

Входные данные рекуррентной нейронной сети имеют больше измерений, чем стандартная модель в машинном обучении. В этом они концептуально похожи на СНС. Вход имеет три измерения:

0. 
   размер мини-пакета;
   

0. 
   количество столбцов вектора на каждом временном шаге;
   

0. 
   количество временных шагов.
   

Размер мини-пакета – это количество входных примеров (коллекций времен-ных рядов из одного источника), моделируемых за раз. Количество столбцов со-ответствует количеству столбцов-признаков в обычном входном векторе. С по­ мощью количества временных шагов мы представляем изменения входного

0. 
   Sutskever, Vinyals and Le, 2014. Sequence to Sequence Learning with Neural Networks // https://arxiv.org/abs/1409.3215.
   

134  Основные архитектуры глубоких сетей
вектора во времени. Это временной аспект входных данных. В терминах преды-дущего раздела количество временных шагов, большее 1, соответствует разно-видности архитектуры «многие к».


Данные в сети Данные в рекуррентной сети
прямого распространения

Число примеров		Число временных рядов(примеров)
Число	входов	Число		значений
		на
		временном
			каждом
				шаге

шагов	)
временных
последовательности
Число
(длина

Рис. 4.17  Сравнение входов обычной и рекуррентной нейронных сетей


Неполные временные ряды и маскирование

Как уже было сказано, входные данные РНС характеризуются временными шага-ми, помимо признаков во входном векторе. На рис. 4.18 это показано наглядно.

Временные шаги

	Векторы-столбцы
Векторы-столбцы

Рис. 4.18  Временной аспект входных данных РНС

Значения в определенном столбце присутствуют не на каждом временном шаге, особенно в тех случаях, когда описательные данные (например, столб-цы, взятые из статической базы данных) перемешаны с данными временно-го ряда (например, с ежеминутными измерениями пульса пациента в палате интенсивной терапии). Для тех случаев, когда значения могут отсутствовать, необходимо маскирование, чтобы DL4J знала, где в векторе находятся реальные данные. Для этого мы заводим дополнительную матрицу-маску, где отмеча-ются временные шаги, на которых имеются входные данные хотя бы в одном столбце (см. рис. 4.19).

В главе 7 будут приведены примеры задания таких масок.

Рекуррентные нейронные сети  135

Один вход

(столбцы + временные шаги)

Входная маска

(только временные шаги)