Neyron tarmoq asoslari va uni chuqur o'rganish

Функции потерь для реконструкции
Qayta tiklash uchun yo'qotish funktsiyalari

Идея реконструкции проста. Нейронная сеть обучается максимально точно вос-производить свой вход. Но почему бы просто не запомнить весь набор данных? Вся хитрость в том, чтобы настроить процесс обучения так, чтобы сеть обучилась характерным особенностям, присутствующим в наборе данных.

Qayta qurish g'oyasi oddiy. Neyron tarmoq o'z ma'lumotlarini iloji boricha aniq takrorlashni o'rganadi. Ammo nima uchun faqat barcha ma'lumotlar to'plamini eslab qololmaysiz? Hiyla - bu ta'lim jarayonini sozlash, shunda tarmoq ma'lumotlar to'plamida mavjud bo'lgan xususiyatlarni bilib oladi.

При одном из подходов количество параметров сети ограничивается таким образом, чтобы сеть была вынуждена сжимать данные, а затем воссоздавать их. Другой популярный подход – исказить входные данные бессмысленным «шумом»

5888. 
      обучить сеть игнорировать шум и определять данные. В качестве примеров упо-мянем ограниченные машины Больцмана и автокодировщики. Во всех таких се-тях используются функции потерь, уходящие корнями в теорию информации.
      
5889. 
      Bir yondashuvda tarmoq parametrlarining soni cheklangan, shuning uchun tarmoq ma'lumotlarni siqib chiqarishga majbur qiladi va keyin uni qayta yaratadi. Yana bir mashhur yondashuv - bu shovqinni e'tiborsiz qoldirishga va ma'lumotlarni aniqlashga o'rgatish uchun ma'nosiz "shovqin" bilan kirishni buzish. Misollar sifatida biz cheklangan Boltszman mashinalari va avtododerlarni eslatib o'tamiz. Bunday barcha tarmoqlar axborot nazariyasiga asoslangan yo'qotish funktsiyalaridan foydalanadi.
      

Следующая формула описывает расхождение Кульбака-Лейблера (KL-расхож­­ дение):

Quyidagi formula Kullback-Leybler divergensiyasini (KL divergentsiyasi) tavsiflaydi:

Гиперпараметры  81

Хотя мы только что кратко упомянули перекрестную энтропию и обосновали переход к логарифмам вероятностей, чтобы преобразовать произведение в сум-му, мы не сказали, что эта операция переносит нас прямиком в вотчину теории информации, где царит понятие энтропии.
Garchi biz qisqacha xochli entropiyani eslatib o'tgan bo'lsak va mahsulotni yig'indiga aylantirish uchun ehtimollik logarifmalariga o'tishni asoslab bergan bo'lsak ham, biz ushbu operatsiya bizni to'g'ridan-to'g'ri entropiya tushunchasi hukmronlik qiladigan axborot nazariyasi sohasiga olib borishini aytmadik.