Neyron tarmoq asoslari va uni chuqur o'rganish

Глава 3


Основания глубоких сетей

Ну, а здесь, знаешь ли, приходится бежать со всех ног, чтобы только остаться на том же месте! Если же хочешь попасть в другое место, тогда нужно бе-жать по меньшей мере вдвое быстрее!

– Красная Королева, «Алиса в Зазеркалье»1

Определение глубокого обучения

5888. 
      главе 2 мы познакомились с основами машинного обучения и нейронных се-тей. Теперь мы воспользуемся этими знаниями, чтобы изложить базовые понятия глубоких сетей. Это поможет понять, что происходит, когда в главе 4 мы будем изучать различные архитектуры, а в главе 5 писать практические примеры. Для начала переформулируем определения глубокого обучения и глубоких сетей.
      

Что такое глубокое обучение?

Возвращаясь к определению глубокого обучения, данному в главе 1, мы можем выделить следующие аспекты, отличающие сети глубокого обучения от «канони-ческих» многослойных сетей прямого распространения:

 больше нейронов, чем в предшествующих сетях;  более сложные способы соединения слоев;


 «кембрийский взрыв» вычислительных мощностей, доступных для обуче-ния;


 автоматическое выделение признаков.
Говоря «больше нейронов», мы имеем в виду происходившее с годами увели-чение количества нейронов с целью выразить более сложные модели. Сами слои также эволюционировали: если раньше это были полносвязные слои в много-слойных сетях, то теперь появились локально связные слои с небольшим коли­ чеством связей между слоями в сверточных нейронных сетях и рекуррентные связи нейрона с самим собой в рекуррентных нейронных сетях (в дополнение к связям с нейронами предыдущего слоя).
Чем больше связей, тем больше параметров, подлежащих оптимизации, и это стало возможным только благодаря взрывообразному росту вычислительных мощностей, происходившему в течение последних 20 лет. Эти достижения за-ложили фундамент для построения нейронных сетей следующего поколения,

23. 
    Перевод Н. Демуровой.
    

84  Основания глубоких сетей
способных самостоятельно выделять признаки с большим успехом, чем раньше.

5888. 
      это дало возможность использовать глубокие сети для моделирования более сложных задач (например, для распознавания изображений). Поскольку отрасле-вые требования постоянно изменяются, возможности нейронных сетей также не стоят месте. В точном соответствии со словами Красной Королевы, приведенны-ми в эпиграфе к этой главе.