Neyron tarmoq asoslari va uni chuqur o'rganish

Отрицательное логарифмическое правдоподобие и максимизация вероятности Логарифм – монотонно возрастающая функция. Поэтому минимизация отрицательного ло-гарифмического правдоподобия эквивалентна максимизации вероятности.
Salbiy logarifm ehtimolligi va ehtimolning maksimal darajasi.
Logaritma - bu monoton ravishda ortib boruvchi funktsiya. Shuning uchun, salbiy logarifmik ehtimollikni minimallashtirish, ehtimolning maksimal darajasiga tengdir.

Дополнительно мы добавим знак минус, чтобы формула описывала «потерю». Таким образом, получается следующая функция, которую принято называть от-рицательным логарифмическим правдоподобием:

Bundan tashqari, formulada "yo'qotish" tavsiflanadigan belgi qo'shamiz. Shunday qilib, manfiy logaritmik ehtimollik deb ataladigan quyidagi funktsiya olinadi:

Обобщение с двух классов на M дает уравнение логистической функции потерь:

Ikkala sinfdan M gacha bo'lgan umumlashtirish logistik yo'qotish funktsiyasining tenglamasini beradi:

Математически это эквивалентно перекрестной энтропии двух распределений вероятности – в данном случае предсказанного и наблюдаемого при одном и том же критерии. Мы поговорим об этом несколько подробнее в следующем разделе.

Matematik jihatdan, bu ikkita ehtimollik taqsimotining o'zaro bog'liqli entropiyasiga tengdir - bu holda taxmin qilingan va xuddi shu mezonlar bo'yicha kuzatilgan. Bu haqda keyingi bo'limda batafsilroq gaplashamiz.


Унифицированный взгляд на функции потерь
Yo'qotish funktsiyalarining yagona ko'rinishi

Мы хотим минимизировать функцию потерь, для чего максимизируем вероятность, для чего минимизируем отрицательное логарифмическое правдоподобие. Не слишком ли запутан-но? Пожалуй, да.

Biz yo'qotish funktsiyasini minimallashtirmoqchimiz, buning uchun biz ehtimolni maksimal darajada oshiramiz, buning uchun manfiy logaritmik ehtimollikni minimallashtiramiz. Bu juda chalkash, ammo? Ehtimol, ha.

Перекрестная энтропия берет начало в теории информации, а отрицательное логарифмиче-ское правдоподобие – в статистическом моделировании. Математически оба метода экви-валентны, поэтому, какой использовать, не важно, только путаницу создает.

Xochli entropiya axborot nazariyasida, manfiy logaritmik ehtimollik esa statistik modellashtirishda paydo bo'ladi. Matematik jihatdan ikkala usul ham bir-biriga tengdir, shuning uchun qaysi biri muhim emas, faqat chalkashlikni keltirib chiqaradi.