Neyron tarmoq asoslari va uni chuqur o'rganish

L-BFGS на практике

Хотя L-BFGS обладает рядом интересных свойств, на практике он редко используется в глу-боких сетях.

Метод сопряженных градиентов. В этом методе направление линейного по-иска определяется на основе информации о сопряженности. В части выполнения линейного поиска метода очень похож на градиентный спуск. Основное отличие заключается в том, что направление поиска на следующем шаге является сопря-женным направлению на предыдущем шаге.


Безгессианная оптимизация. Этот метод родствен методу Ньютона, но луч-ше минимизирует имеющуюся квадратичную функцию. Этот мощный метод оп-тимизации был адаптирован для нейронных сетей Джеймсом Мартенсом в 2010 году. Минимум квадратичной функции ищется итеративно с помощью метода сопряженных градиентов.


Гиперпараметры

Под гиперпараметром мы понимаем любой конфигурационный параметр, кото-рый задается пользователем и может повлиять на качество или производитель-ность модели.

0. 
   Le et al., 2011. On Optimization Methods for Deep Learning // https://sites.wustl.edu/machine­ learning/.
   
1. 
   LeCun et al., 1998. Efficient BackProp // http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf.
   

0. 
   Martens, 2010. Deep learning via Hessian-free optimization // https://sites.wustl.edu/machine­ learning/.
   

Общие архитектурные принципы глубоких сетей 99
Можно выделить несколько категорий гиперпараметров:


 размер слоя;
 масштаб (импульс, скорость обучения);
 регуляризация (прореживание, прореживание связей, L1, L2);  активация (и семейства функций активации);  стратегия инициализации весов;  функции потерь;


 настройка периодов обучения (размер мини-пакета);  схема нормировки входных данных (векторизация).

0. 
   этом разделе мы дополним материал главы 1 описанием нескольких новых гиперпараметров, имеющих отношение к глубокому обучению.