Neyron tarmoq asoslari va uni chuqur o'rganish

Прореживание связей (DropConnect). Метод DropConnect26 аналогичен Drop-out, но маскируется не сам нейрон скрытого слоя, а связь между двумя нейронами.
Штраф по норме L1. Методы штрафования по норме L1 или L2 предотвраща-ют чрезмерное разрастание пространства параметров сети в одном направлении. Они уменьшают слишком большие веса.

0. 
   Zeiler, 2012. ADADELTA: An Adaptive Learning Rate Method // https://arxiv.org/abs/1212.5701.
   

0. 
   Bengio et al., 2015. Deep Learning (In Preparation).
   

0. 
   Bengio et al., 2015. Deep Learning (In Preparation).
   

102  Основания глубоких сетей
L1-регуляризация считается вычислительно неэффективной в неразреженном случае, она дает разреженные выходы и включает встроенный механизм отбора признаков. В этом случае умножаются абсолютные величины весов, а не их квад­ раты. Метод приводит к обнулению многих весов, позволяя некоторым достигать большой величины; в результате веса проще интерпретировать.


Штраф по норме L2. Напротив, L2-регуляризация вычислительно эффектив-на, поскольку имеется аналитическое решение, она дает неразреженные выходы, но автоматического отбора признаков не обеспечивает. При задании гиперпара-метра L2 к целевой функции прибавляется член, уменьшающий квадраты весов. Полусумма квадратов весов умножается на коэффициент, называемый весовой стоимостью (weight-cost). L2-регуляризация повышает обобщаемость, сглаживает зависимость выхода модели от входов и дает сети возможность игнорировать не-используемые веса.


Мини-пакеты

Смысл мини-пакетов27 – в том, чтобы передать системе обучения не один вход-ной вектор, а целую группу (пакет). Это позволяет более эффективно задейство-вать оборудование и ресурсы на уровне архитектуры вычислительной системы. Кроме того, мы получаем возможность применить векторные вычисления к не-которым линейно-алгебраическим операциям (точнее, к умножению матриц).

0. 
   тогда векторные вычисления можно перенести на GPU, если таковые имеются в системе.
   

Итоги

0. 
   главе 2 мы узнали о некоторых базовых средствах регуляризации, применяемых в многослойных сетях прямого распространения. В этой главе мы добавили в свой арсенал ряд новых методов и гиперпараметров для нахождения лучших векторов параметров. Теперь применим эти идеи к конструированию строительных блоков глубоких сетей.