Neyron tarmoq asoslari va uni chuqur o'rganish

Выделение признаков с помощью ОМБ-слоев

ОМБ служат для выделения высокоуровневых признаков из исходных входных векторов. Для этого веса связей со скрытыми блоками нужно настроить так, что когда мы предъявляем ОМБ входную запись и просим ее произвести реконструк-цию, ОМБ генерирует нечто, весьма напоминающее оригинальный входной век-тор. Хинтон называет этот эффект «данными, которые машины видят во сне».

Главное назначение ОМБ в контексте глубокого обучения вообще и ГСД в част-ности – обучиться этим высокоуровневым признакам набора данных без учителя. Показано, что нейронная сеть обучается лучше, если организовать каскад слоев предобучения ОМБ, в котором последующие ОМБ получают признаки, выделен-ные предшествующими.

Автоматическое обучение признакам высшего порядка. Обучение призна-кам без учителя считается стадией предобучения ГСД. Каждый скрытый слой ОМБ на стадии предобучения обучается все более сложным признакам, присутствую-щим в распределении данных. Эти признаки высшего порядка комбинируются нелинейными способами – и весь этот элегантный процесс можно назвать авто-матическим конструированием признаков.
На рис. 4.2, 4.3 и 4.4 показана последовательность активаций, которую порож-дает ОМБ в процессе обучения на цифрах из набора MNIST.

0. 
   главе 6 мы подробнее расскажем о том, как были получены эти рисунки. Как видно, слой ОМБ выделяет фрагменты цифр в процессе обучения. В слоях следую­ щих уровней они комбинируются во все более сложные (нелинейные) признаки.
   

Порождающий процесс моделирования в каждом слое ОМБ позволяет системе выделять из исходных данных, полученных с помощью векторизации, признаки

Сети, предобученные без учителя  113
все более высокого уровня. Эти признаки распространяются по слоям ОМБ в од-ном направлении, так что верхний слой выдает самые интересные признаки.


Рис. 4.2  Визуализация активаций в начале обучения