Neyron tarmoq asoslari va uni chuqur o'rganish

Кусочно-линейная функция потерь – выпуклая функция
Chiziqli yo'qotish funktsiyasi - konveks funktsiyasi

Отметим, что кусочно-линейная функция потерь, как и СКО, – выпуклая функция.

E'tibor bering, tekis chiziqli yo'qotish funktsiyasi, standart og'ish kabi, konveks funktsiyani bajaradi.


Логистическая функция потерь
Yo'qotishning logistik funktsiyasi

Логистическая функция потерь применяется, когда интерес представляет не безусловная­ классификация, а вероятностная. Примером может служить привле-чение внимания человека-оператора к потенциальной мошеннической операции или предсказание «вероятности щелчка по рекламному объявлению», которую затем можно связать с платой за его размещение.

Mantiqiy yo'qotish funktsiyasidan foizlar shartsiz tasniflanmagan, ammo ehtimoliy bo'lsa foydalaniladi. Bunga misol qilib, inson operatorining e'tiborini soxta operatsiyaga jalb qilish yoki "reklama ustiga bosish ehtimoli" ni bashorat qilish mumkin, uni keyinchalik uni joylashtirish uchun to'lov bilan bog'lash mumkin.

Предсказание вероятности означает, что сеть должна породить число от 0 до 1. Кроме того, сумма вероятностей взаимно исключающих исходов должна быть равна 1. Поэтому важно, чтобы последним слоем нейронной сети, используемой для классификации, был слой softmax. Отметим, что сигмоидная функция акти-вации также возвращает значения от 0 до 1. Но она неприменима в случае, когда выходы взаимно исключающие, поскольку не моделирует зависимости между вы-ходными значениями.

Ehtimoldagi bashorat tarmoq 0 dan 1 gacha bo'lgan raqamni yaratishi kerakligini anglatadi. Bundan tashqari, o'zaro eksklyuziv natijalar ehtimolligi yig'indisi 1 ga teng bo'lishi kerak. Shu sababli, softmax qatlami tasniflash uchun ishlatiladigan neyron tarmoqning oxirgi qatlami bo'lishi muhimdir. E'tibor bering, sigmasimon faollashtirish funktsiyasi 0 dan 1 gacha bo'lgan qiymatlarni qaytaradi, ammo chiqish natijalari o'zaro bog'liq bo'lgan hollarda qo'llanilmaydi, chunki u chiqish qiymatlari o'rtasidagi munosabatni modellashtirmaydi.
Гарантировав, что наша нейронная сеть будет порождать корректные вероят-ности классов, мы можем заняться самой функцией потерь и решить, что следу-ет оптимизировать. Мы хотим максимизировать так называемое «максимальное правдоподобие». Иными словами, требуется максимизировать предсказанную вероятность правильного класса И сделать это для каждого имеющегося примера.
Bizning neyron tarmog'imiz to'g'ri sinf ehtimolliklarini keltirib chiqarishiga kafolat berib, biz yo'qotish funktsiyasini bajaramiz va nimani optimallashtirish kerakligini hal qilamiz. Biz "maksimal ehtimollik" ni maksimal darajada oshirishni xohlaymiz. Boshqacha qilib aytganda, to'g'ri sinfning taxmin qilingan ehtimolini maksimal darajada oshirish va har bir mavjud misol uchun buni bajarish kerak.

Рассмотрим сеть, предсказывающую вероятности двух классов, например мо-шеннической и честной операций. В приведенных выше обозначениях вероят-ности 1 и 0 для заданного входа X_i при заданных весах W и смещениях b будут обозначаться соответственно:

Ikkita sinf ehtimolini bashorat qiladigan tarmoqni ko'rib chiqing, masalan, soxta va halol operatsiyalar. Yuqoridagi izohda berilgan og'irliklar uchun berilgan Xi uchun 1 va 0 ehtimolliklar, mos ravishda W va s ofsetlar belgilanadi:


P(y_i = 1|X_i; W, b) = h_W,b(X_i);


P(y_i = 0|X_i; W, b) = 1 – h_W,b(X_i).

Эти выражения можно объединить в одно:

Ushbu iboralarni bittaga birlashtirish mumkin:

Слово «И» в словесном определении максимального правдоподобия в контек-сте вероятностей должно вызвать рефлекторную реакцию. «И» для всех имеющих-ся примеров означает, что вероятности перемножаются:

Ehtimollik kontekstida maksimal ehtimollikni og'zaki belgilashda "men" so'zi refleks reaktsiyasini keltirib chiqarishi kerak. Mavjud barcha misollar uchun "va" ehtimolliklar ko'paytirilishini anglatadi:

80  Основы нейронных сетей и глубокого обучения

Теперь перейдем к отрицательному логарифмическому правдоподобию. Отрицательное логарифмическое правдоподобие. При работе с произведе-

нием вероятностей удобнее взять логарифм, тогда произведение преобразуется в сумму логарифмов вероятностей.
Keling, salbiy logarifmik ehtimollikka o'taylik. Salbiy logarifm ehtimoli. Ehtimollar mahsuli bilan ishlashda logarifmni olish qulayroq bo'ladi, keyin mahsulot ehtimolliklar logarifmlarining yig'indisiga aylanadi.