|
Функции потерь
Yo'qotish funktsiyalari
Функция потерь количественно выражает близость нейронной сети к идеалу, ради которого она обучается. Идея проста. Вычисляется некая метрика, основанная на наблюдаемой ошибке предсказаний. Затем ошибки агрегируются по всему набору данных и усредняются, в результате чего остается единственное число, показы вающее, насколько близко мы подошли к идеалу.
Yo'qotish funktsiyasi neyron tarmoqning u o'qitiladigan idealga yaqinligini o'lchaydi. Fikr oddiy. Aniq metrika kuzatilgan prognoz xatosi asosida hisoblanadi. Keyin xatolar butun ma'lumotlar to'plami bo'yicha yig'iladi va o'rtacha qiymatga ega bo'lib, biz idealga qanchalik yaqin ekanligimizni ko'rsatadigan bitta raqam qoldiradi.
Поиск идеального состояния эквивалентен поиску параметров (весов и смеще-ний), которые минимизируют «потерю» из-за ошибок. Тем самым функция по-терь позволяет переформулировать задачу обучения нейронной сети как задачу оптимизации. В большинстве случаев найти оптимальные значения параметров аналитически невозможно, но очень часто их можно аппроксимировать с по мощью таких алгоритмов оптимизации, как градиентный спуск. В следующем разделе приводится обзор наиболее употребительных функций потерь, иногда с указанием их истоков в машинном обучении.
Ideal holatni izlash xatolar tufayli "yo'qotish" ni kamaytiradigan parametrlarni (og'irlik va siljishlarni) qidirishga tengdir. Shunday qilib, yo'qotish funktsiyasi bizga neyron tarmog'ini optimallash muammosi sifatida o'rgatish vazifasini qayta ko'rib chiqishga imkon beradi. Ko'pgina hollarda, optimal parametr qiymatlarini topish analitik jihatdan imkonsizdir, lekin ko'pincha gradient tushishi kabi optimallash algoritmlari yordamida ularni yaqinlashtirish mumkin. Keyingi bo'limda eng ko'p uchraydigan yo'qotish funktsiyalari, ba'zan ularning mashina o'rganishda manbalari ko'rsatilgan.
Применяемые обозначения
Shartli belgilashlar
В этом разделе используются следующие обозначения:
Ushbu bo'limda quyidagi belgi ishlatiladi:
|
|
|
|
рассмотрим набор данных для обучения нейронной сети. Обозначим N ко-
|
|
личество примеров в нем (входных данных вместе с соответствующими вы-
|
|
ходными метками);
neyron tarmog'ini o'qitish uchun ma'lumotlar bazasini ko'rib chiqing. N ning tarkibidagi misollar sonini belgilasin (kiritish ma'lumotlari tegishli chiqish yorliqlari bilan birga);
|
|
|
каждый пример состоит из уникального набора входных и выходных при-
|
|
знаков. Обозначим P количество собранных входных признаков, а M – ко-
|
|
личество наблюдаемых выходных признаков;
Har bir misol kirish va chiqish xususiyatlarining noyob to'plamidan iborat. P to'plangan kirish xususiyatlarining sonini, M esa kuzatilgan chiqish xususiyatlarining sonini bildirsin;
|
|
|
обозначим (X,Y) собранные входные и выходные данные. Отметим, что су-
|
|
ществует N пар, в которых вход принадлежит множеству, содержащему P
|
|
значений, а выход – множеству, содержащему M значений. Будем обозна-
|
|
чать i-ю пару в наборе данных (Xi, Yi);
(X, Y) to'plangan kirish va chiqish ma'lumotlarini belgilang. E'tibor bering, N juftlari mavjud, unda kirish P qiymatlarini o'z ichiga olgan to'plamga, chiqish esa M qiymatlarini o'z ichiga olgan to'plamga tegishli. Biz ma'lumotlar to'plamida i-juftlikni belgilaymiz (Xi, Yi); ^
^ – гипотеза, вы-
будем обозначать выход нейронной сети Y. Разумеется, Y
двинутая сетью о значении Y, и потому состоит из M признаков;
^ ^
обозначим h(Xi) = Yi нейронную сеть, преобразующую вход Xi в выход Yi.
Позже мы немного изменим это обозначение, чтобы подчеркнуть зависи-
мость от весов и смещений;
говоря о признаках, мы всегда имеем в виду матрицу, строки которой пред-
ставляют примеры, а столбцы – уникальные признаки. Следовательно, yi,j
обозначает j-ый признак, наблюдаемый в i-м примере;
функцию потерь будем обозначать L(W, b).
^ - gipoteza, siz neyron tarmoqning chiqishini bildirasiz Y. Albatta, Y
Y qiymati haqida tarmoq tomonidan ko'chirilgan va shuning uchun M belgilaridan iborat;
^
h (Xi) = Yi Xi kirishni Yi ga o'zgartiradigan neyron tarmoq bo'lsin.
Keyinchalik og'irlikni va joy almashtirishga bog'liqligini ta'kidlash uchun biz ushbu belgini biroz o'zgartiramiz;
Xususiyatlar haqida gapirganda, biz har doim matritsani nazarda tutamiz, ularning qatorlari misollar va ustunlar noyob xususiyatlardir. Shuning uchun, yi, j
i-misolda ko'rilgan j-chi belgini bildiradi;
yo'qotish funktsiyasi L (W, b) bilan belgilanadi.
|
^
|
|
|
|
|
|
|
|
|
Обозначение функции потерь подсказывает, что ее значение зависит только от W и b – весов и смещений нейронной сети. Это очень важно. При наличии сети со всеми ее слоями, конфигурационными данными и всем прочим, обученной на некотором наборе данных, значение функции потерь зависит исключительно от состояния сети, определяемого весами и смещениями. Пошевелите их – и потери
изменятся. Пошевелите их при заданных входах – и изменятся выходы.
|
^
|
следует обусловить набором весов и сме-
|
Таким образом, обозначение h(X) = Y
|
щений, поэтому будем писать hw,b(X) =
|
^
|
Y. Теперь мы готовы заняться непосред-
|
ственно функциями потерь.
|
|
Yo'qotish funktsiyasini belgilash shundan dalolat beradiki, uning qiymati faqat Vt va b - neyron tarmog'ining og'irliklari va joy almashishlariga bog'liq. Bu juda muhim. Agar uning barcha qatlamlari, konfiguratsiya ma'lumotlari va ma'lum bir ma'lumot to'plamida o'qitilgan barcha narsalar mavjud bo'lgan tarmoq mavjud bo'lsa, yo'qotish funktsiyasining qiymati faqat tarmoqning holatiga bog'liq bo'lib, uning og'irligi va pasayishi bilan belgilanadi. Ularni aralashtiring - va yo'qotish
o'zgaradi. Berilgan kirish joylarida ularni aralashtiring - va natijalar o'zgaradi.
^ og'irliklar to'plami bilan aniqlanishi kerak va
Shunday qilib, h (X) = Y belgisi
bo'limlar, shuning uchun biz qi, b (X) = ^ yozamiz
Y. Endi biz to'g'ridan-to'g'ri kurashishga tayyormiz
yo'qotish funktsiyalari.
Функции потерь 77
Do'stlaringiz bilan baham: |
