Neyron tarmoq asoslari va uni chuqur o'rganish

Структура сети

Базовая ОМБ состоит из пяти основных частей:

 видимые блоки;
 скрытые блоки;
 веса;
 видимый блок смещения;
 скрытый блок смещения.

1. 
   стандартной ОМБ, показанной на рис. 3.3, имеются видимый и скрытый слои,
   

0. 
   также граф весов (связей) между видимыми и скрытыми блоками. Можно счи-тать, что это такие же веса, как в классической нейронной сети.
   

Видимый и скрытый слои. В ОМБ каждый видимый блок связан с каждым скрытым блоком, но никакие два блока одного слоя не связаны. Скрытые блоки являются детекторами признаков, они обучаются признакам, присутствующим во входных данных. Блоки каждого слоя устроены по аналогии с биологическим нейроном, как и в сетях прямого распространения из главы 1. Блоки видимого слоя «наблюдаемые» в том смысле, что принимают на входе обучающие векторы. В каждом слое имеется блок смещения, который всегда активен.

0. 
   https://www.cs.toronto.edu/~hinton/.
   

0. 
   Krizhevsky, Sutskever and Hinton, 2012. ImageNet Classification with Deep Convolutional Neural Networks // https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convo­ lutional­-neural-networks.pdf.
   

Строительные блоки глубоких сетей  105

Видимый слой Скрытый слой

Рис. 3.3  Сеть ОМБ

Каждый блок выполняет вычисление со своим входом и выводит результат, сообразуясь со стохастическим решением о том, передавать данные с помощью функции активации или нет. Как и в искусственном нейроне из главы 1, значение активации вычисляется на основе весов связей и входных значений. Начальные веса генерируются случайным образом.

Связи и веса. Связи могут существовать только между видимыми и скрыты-ми блоками. Ребра графа представляют связи, по которым передаются сигналы. Кружочки можно уподобить биологическим нейронам. Это блоки, принимающие решения о том, следует в результате вычисления активироваться или нет. «Да» означает, что сигнал передается дальше по сети, «нет» – что не передается.

Обычно состояние «активен» означает, что данные, проходящие через блок, представляют ценность, т. е. содержат информацию, которая поможет сети при-нять решение. «Неактивен» означает, что сеть воспринимает данный вход как не-существенный шум. Сеть обучается распознавать, какие признаки (сигналы) кор-релируют с какими метками (какой код содержится в сообщении). Обученная сеть правильно классифицирует поступающие данные.

Смещение. Блоки смещения на каждом уровне связаны со всеми блоками сле-дующего уровня, но не получают входных сигналов. Благодаря им сеть лучше мо-делирует случаи, когда входной блок всегда активен или всегда неактивен.


Обучение

Техника предобучения с применением ОМБ подразумевает, что она обучается ре-конструировать исходные данные по ограниченной выборке из них. То есть, видя подбородок, обученная сеть сможет аппроксимировать («реконструировать») все лицо. ОМБ обучается реконструировать входной набор данных. Концепцию ре-конструкции мы рассмотрим в следующем разделе.