Neyron tarmoq asoslari va uni chuqur o'rganish

Использование перекрестной энтропии для реконструкции

Когда энтропия используется для реконструкции, мы сначала накладываем «га-уссов шум» (вид статистического белого шума), а затем функция потерь штрафу-ет сеть за отличия результата реконструкции от исходных данных. Эта обратная связь заставляет сеть обучаться различным признакам в попытке более эффек-тивно реконструировать вход и минимизировать ошибку. В глубоком обучении энтропийная функция потерь при реконструкции применяется для конструиро-вания признаков на этапе предобучения сети с использованием ОМБ.

Алгоритмы оптимизации

Обучение модели означает отыскание наилучшего множества значений пара-метров. Машинное обучение можно представлять себе как задачу оптимизации,

0. 
   которой требуется минимизировать функцию потерь относительно параметров функции предсказания (основанной на модели).
   

Определение «наилучшего» в терминах функции потерь

1. 
   алгоритмах оптимизации «наилучшее множество значений» параметров определяется как множество значений, доставляющих минимум функции потерь.
   

1. 
   главе 1 были введены понятия оптимизации, градиентного спуска и вектора параметров. В этом разделе мы рассмотрим более сложные методы оптимизации
   
0. 
   их применение для обучения глубоких сетей. Мы разобьем алгоритмы оптими-зации на две категории:
   

 первого порядка;  второго порядка.

1. 
   алгоритмах первого порядка вычисляется матрица Якоби, или якобиан.
   

Якобиан

Якобиан – это матрица, составленная из частных производных функции потерь по каждому параметру.

0. 
   якобиане присутствует одна частная производная для каждого параметра (при вычислении частных производных по какой-то переменной все остальные переменные временно считаются постоянными). Алгоритм выполняет шаг в на-правлении, определяемом якобианом.
   
1. 
   алгоритмах второго порядка вычисляется производная якобиана (производ­ ная матрицы производных), т. е. производится аппроксимация матрицы Гессе, или гессиана. Методы второго порядка учитывают зависимости между парамет­ рами при решении о том, на какую величину изменять каждый параметр.