Neyron tarmoq asoslari va uni chuqur o'rganish

Функции потерь для регрессии
Regresiyani yo'qotish uchun funktsiyalari

В этом разделе мы рассмотрим функции потерь для регрессионных моделей.

Ushbu bo'limda biz regressiya modellari uchun yo'qotish funktsiyalarini ko'rib chiqamiz.


Среднеквадратическая ошибка
O’rtacha kvadratik xatolik

При работе с регрессионной моделью, порождающей вещественное число, мы бу-дем использовать квадратичную функцию потерь, как в случае обычного метода наименьших квадратов в задаче линейной регрессии. Предположим, что требует-ся предсказать всего один выходной признак (M = 1). Ошибка предсказания воз-водится в квадрат и усредняется по всем примерам:

Haqiqiy sonni keltirib chiqaradigan regressiya modeli bilan ishlashda, chiziqli regressiya muammosida odatdagi eng kam kvadratlar usulida bo'lgani kabi, biz kvadrat yo'qotish funktsiyasidan foydalanamiz. Aytaylik, bitta chiqish xususiyatini bashorat qilmoqchisiz (M = 1). Bashoratdagi xato barcha misollarda kvadratga teng va o'rtacha:

5888. 
      что, если M больше 1 и мы хотим предсказать несколько выходных призна-ков для заданного набора входных? В таком случае фактические и предсказанные
      
      5888. 
            соответственно, – это упорядоченные списки чисел, иначе говоря,
            

Y Yзначения,и

векторы.
Agar M 1 dan katta bo'lsa va berilgan kirish to'plami uchun bir nechta chiqish atributlarini taxmin qilishni xohlasak nima bo'ladi? Bunday holda, haqiqiy va bashorat qilingan

shunga ko'ra, bu tartiblangan raqamlar ro'yxati, boshqacha qilib aytganda, Y Y vektorlar.


Замечание о функциях потерь
Yo'qotish funktsiyalari haqida eslatma

Функция потерь сводит различие между фактическими и предсказанными значениями к единственному числу, даже если они являются векторами.

Yo'qotish funktsiyasi, agar ular vektor bo'lsa ham, haqiqiy va bashorat qilingan qiymatlar orasidagi farqni bitta raqamga kamaytiradi.

Рассмотрим теперь другой вариант среднеквадратической функции потерь:

Endi biz o'rtacha kvadrat yo'qotish funktsiyasining yana bir variantini ko'rib chiqamiz:

Если вы знакомы с линейной алгеброй, то легко узнаете во внутренней сумме квадрат евклидова расстояния. Вообще, среднеквадратическая ошибка (СКО) час­ то определяется в этих терминах. Отметим, что N, размер набора данных, и M, число предсказываемых сетью признаков, – константы. Так что их можно рассма-тривать просто как масштабные коэффициенты, которые можно учесть и други-ми способами (например, умножением на скорость обучения). Во многих случаях (в т. ч. в библиотеке DL4J) M опускается и для удобства производится еще деление на 2 (зачем это нужно, мы увидим позже, когда будем рассматривать градиент этой функции в алгоритме обратного распространения). Следующее уравнение содержит определение СКО, используемой в библиотеке DL4J для регрессии:

Agar siz chiziqli algebrani yaxshi bilsangiz, Evklid masofasining kvadratini ichki yig'indisidan osongina topishingiz mumkin. Umuman olganda, standart xato (RMS) ko'pincha ushbu atamalarda aniqlanadi. E'tibor bering, N, ma'lumotlar to'plamining o'lchami va M, tarmoq tomonidan taxmin qilingan xususiyatlar soni doimiydir. Shunday qilib, ularni oddiygina miqyosli omillar sifatida ko'rib chiqish mumkin, ularni boshqa usullarda (masalan, o'rganish tezligiga ko'paytirish orqali) hisobga olish mumkin. Ko'pgina holatlarda (shu jumladan DL4J kutubxonasida) M o'tkazib yuboriladi va qulaylik uchun yana 2 ga bo'linish amalga oshiriladi (nega bizga bu kerak, buni orqaga surish algoritmida ushbu funktsiyaning gradientini ko'rib chiqqanimizda keyinroq bilib olamiz). Quyidagi tenglama DL4J kutubxonasida regressiya uchun ishlatiladigan standart og'ishni belgilaydi: