Neyron tarmoq asoslari va uni chuqur o'rganish

Строительные блоки глубоких сетей

Глубокие сети не ограничиваются простыми многослойными сетями прямого рас-пространения. В некоторых случаях глубокая сеть состоит из нескольких меньших сетей, рассматриваемых как строительные блоки, а иногда используется специа­ лизированный набор слоев. Вот несколько строительных блоков, о которых мы хотели бы поговорить подробнее:

 многослойные нейронные сети прямого распространения;
 ОМБ;
 автокодировщики.
Канонические сети прямого распространения были рассмотрены в главе 2. Эти сети, основанные на идее биологического нейрона, являются простейшими при-мерами искусственных нейронных сетей. Они состоят из входного слоя, одного или нескольких скрытых слоев и выходного слоя. В этом разделе мы познакомим-

0. 
   Bengio, 2012. Practical recommendations for gradient-based training of deep architectures // https://arxiv.org/abs/1206.5533.
   

Строительные блоки глубоких сетей 103
ся с сетями, которые используются в качестве строительных блоков более круп-ных глубоких сетей:
 ОМБ;
 автокодировщики.
Те и другие характеризуются наличием дополнительного шага послойно-го обучения­. Зачастую они применяются на этапе предобучения в других более крупных сетях.


Послойное предобучение без учителя

Послойное предобучение без учителя28 помогает при некоторых условиях. Со временем появление более качественных методов оптимизации, функций активации и способов ини-циализации весов снизило значение глубоких сетей с предобучением. Интересными они становятся, когда имеется много непомеченных данных и лишь сравнительно небольшой набор помеченных обучающих данных. Но предобучение сопряжено с дополнительными расходами на настройку и обучение.

0. 
   методе послойного предобучения мы сначала обучаем первый слой (например, ОМБ) без учителя на основе входных данных. Это дает первый слой весов для основной нейрон-ной сети (например, многослойного перцептрона). Этот процесс продолжается для каждого слоя сети, при этом выход предыдущего слоя используется как вход последующего. Процесс предобучения позволяет инициализировать параметры главной нейронной сети хорошими начальными значениями.
   

ОМБ моделирует вероятность и прекрасно работает в роли инструмента выде-ления признаков. Это сеть прямого распространения, в которой данные распро-страняются в одном направлении с двумя смещениями, а не с одним, как в тради-ционных сетях прямого распространения с обратным распространением ошибки.

Автокодировщики – вариант нейронных сетей прямого распространения, в ко-тором имеется дополнительное смещение для вычисления ошибки реконструк-ции исходных входных данных. Обученный автокодировщик используется как обычная сеть прямого распространения для активаций. Это форма выделения признаков без учителя, поскольку нейронная сеть использует для обучения ве-сов только сами входные данные, а не обратное распространение ошибки, для ко-торого нужны метки. ОМБ или автокодировщики могут применяться в качестве строительных блоков более крупных сетей (но редко бывает, что применяются сразу оба). В следующих разделах мы рассмотрим их подробнее.