Neyron tarmoq asoslari va uni chuqur o'rganish

Параметры и структуры NDArray

0. 
   том, что касается линейной алгебры, DL4J опирается на библиотеку ND4J, содержащую ли-нейно-алгебраические примитивы. Структуры NDArray и линейная алгебра – ключ к работе с нейронными сетями в DL4J.
   

Слои

0. 
   главе 1 мы узнали о входном, скрытых и выходном слоях нейронной сети пря-мого распространения. В главе 2 мы обогатили свой багаж знаниями о других ти-пах слоев и обсудили, как они связаны с архитектурой глубокой сети. В некоторых архитектурах слои могут быть представлены подсетями. В предыдущем разделе было показано, что глубокая сеть доверия включает слои, составленные из ОМБ.
   

94  Основания глубоких сетей
Слои – это фундаментальная архитектурная единица глубокой сети. В DL4J для настройки слоя изменяется тип функции активации (или тип подсети в слу-чае ОМБ). Мы также увидим, как использовать комбинации слоев для решения поставленной задачи (классификации или регрессии). Наконец, мы узнаем, ка-кие гиперпараметры следует задавать для слоя каждого типа (в зависимости от архитектуры), чтобы эффективнее обучить сеть на начальном этапе. Затем для предотвращения переобучения может понадобиться дополнительная настройка гиперпараметров.


Функции активации

0. 
   главе 1 мы познакомились с основными функциями активации, применяемыми в нейронных сетях прямого распространения. В этой главе мы покажем, как функ-ции активации используются в конкретных архитектурах для выделения призна-ков. Признаки высшего порядка, которым глубокая сеть обучается на данных, являются результатом нелинейного преобразования выхода предыдущего слоя. Это позволяет сети выявлять закономерности в данных, оставаясь в пространстве ограниченной размерности.
   

Функции активации для архитектуры общего вида

0. 
   зависимости от выбранной функции активации может оказаться, что для опре-деленных видов данных (скажем, разреженных или плотных) больше подходит та или иная целевая функция. Такого рода проектные решения мы объединим в две большие группы, свойственные всем архитектурам: