Neyron tarmoq asoslari va uni chuqur o'rganish

Ограниченные машины Больцмана

ОМБ применяются для следующих целей:  выделение признаков;  понижение размерности.

Слово «ограниченные» в названии означает, что связи между блоками одного слоя запрещены (т. е. отсутствуют прямые взаимодействия между любыми ви-димыми или любыми двумя скрытыми блоками). Джеффри Хинтон, пионер глу-бокого обучения, популяризировавший ОМБ29 десять лет назад, описывает более общую машину Больцмана следующим образом:

0. 
   Bengio et al., 2007. Greedy Layer-Wise Training of Deep Networks // https://papers.nips.cc/ paper/3048-greedy-layer-wise-training-of-deep-networks.pdf.
   
1. 
   https://www.cs.toronto.edu/~hinton/absps/guideTR.pdf.
   

104  Основания глубоких сетей
Сеть, состоящая из симметрично связанных нейроноподобных блоков, которые принимают стохастические решения о своем состоянии: возбужден или нет.

ОМБ является также частным случаем автокодировщика, о котором мы будем говорить в следующем разделе. ОМБ используются для предобучения слоев в бо-лее крупных сетях, например в глубоких сетях доверия.

Джеффри Хинтон
Джеффри Хинтон занимает должность заслуженного исследователя в Google (по со-вместительству) и работает в Торонтском университете заслуженным профессором

0. 
   отставке30. Группой д-ра Хинтона были выполнены основополагающие работы по ОМБ и глубоким сетям доверия.
   

Результаты, полученные группой д-ра Хинтона, немало способствовали привлечению интереса к глубокому обучению в том виде, в котором мы знаем его сейчас. В 2012 году Алекс Крижевский, Илья Суцкевер и Джеффри Хинтон разработали «большую глубо-кую сверточную сеть», выигравшую состязание 2012 ILSVRC (ImageNet Large-Scale Visual Recognition Challenge). Эта сеть, получившая название «AlexNet»31, прослави-

лась как крупное достижение в компьютерном зрении и положила начало повально-му увлечению глубоким обучением.

Д-р Хинтон всегда ратовал за необходимость фундаментальных исследований и тер-пеливого ожидания результатов:

...после того как мы с Терри Сейновским придумали алгоритм обучения машины Больцмана, мне понадобилось 17 лет, чтобы найти такой его вариант, который работал эффективно. Если вы верите в идею, надо продолжать попытки.