Neyron tarmoq asoslari va uni chuqur o'rganish

 функции активации;


 функции потерь;

0. 
   Источник: IEEE Spectrum // http://spectrum.ieee.org/computing/software/the-neural-network-that-remembers.
   

Общие архитектурные принципы глубоких сетей 93
 методы оптимизации;
 гиперпараметры.

Затем дополним их новыми строительными блоками:  ограниченные машины Больцмана (ОМБ);  автокодировщики.

Далее на основе этих идей мы рассмотрим следующие архитектуры глубоких сетей:

 сети, предобученные без учителя;  сверточные нейронные сети (СНС);  рекуррентные нейронные сети (РНС);  рекурсивные нейронные сети.
По ходу этой главы мы будем сообщать о том, как в DL4J реализованы некото-рые аспекты глубоких сетей. А пока начнем с вопроса об обобщении параметров на глубокие сети.


Параметры

1. 
   главе 1 мы узнали, что в машинном обучении параметры – это вектор x в урав-нении Ax = b. Параметры нейронной сети имеют непосредственное отношение к весам связей в сети. На рис. 1.4 показано, что вектор параметров x представлен вектором-столбцом. Для получения вектора-столбца результатов b мы умножаем матрицу A на вектор параметров x. Чем ближе вектор b к фактическим меткам, присутствующим в обучающих данных, тем лучше наша модель. Для нахождения хороших значений вектора параметров, доставляющих минимум функции по-терь на обучающем наборе, применяются методы оптимизации, например гра-диентный спуск.
   

1. 
   глубоких сетях также имеется вектор параметров, представляющий связи
   

0. 
   оптимизируемой модели. Но важнейшее отличие глубоких сетей в части пара-метров состоит в том, как соединены между собой слои в различных архитектурах.
   

1. 
   ГСД мы видим два параллельных набора прямых связей между двумя раздель-ными сетями. Слои одной сети состоят из ГМБ (вполне самостоятельных подсетей, которые мы рассмотрим ниже в этой главе), которые служат для выделения при-знаков в интересах другой сети. Другой сетью в ГСД является многослойная ней-ронная сеть прямого распространения, в которой признаки, выделенные из слоев ГМБ, используются для инициализации весов. Это лишь один из многих примеров того, как параметры (веса) специализируются в разных архитектурах.