Amaliy matematika” yo‘nalishi 21. 08-guruh talabasi Mamasodiqova Mubina Sattorali qizining

Radial neyron toʻrlar.

Matematik modellashtirish sohasida radial asosli funktsiya tarmog'i - faollashtirish funktsiyalari sifatida radial asos funktsiyalaridan foydalanadigan sun'iy neyron tarmoq . Tarmoqning chiqishi kirishlar va neyron parametrlarining radial asosli funktsiyalarining chiziqli birikmasidir . Radial asosli funktsiyalar tarmoqlari funksiyalarni yaqinlashtirish , vaqt seriyalarini bashorat qilish , tasniflash va tizimni boshqarish kabi ko'plab maqsadlarga ega . Ular birinchi marta 1988 yilda Royal Signals va Radar Establishment tadqiqotchilari Broomhead va Lowe tomonidan yozilgan maqolada shakllantirilgan.
Radial asos funktsiyalari - bu uchta qatlamdan tashkil topgan oldinga yo'naltirilgan neyron tarmoqlarning maxsus klassi : kirish qatlami, yashirin qatlam va chiqish qatlami. Bu ko'plab qatlamlardan tashkil topgan va chiziqli bo'lmagan faollashtirish funktsiyalarini takroran qo'llash orqali nochiziqlilikni keltirib chiqaradigan ko'pgina neyron tarmoq arxitekturalaridan tubdan farq qiladi. Kirish qatlami kirish ma'lumotlarini oladi va uni hisoblash sodir bo'ladigan yashirin qatlamga o'tkazadi. Radial Basis Functions Neyron tarmog'ining yashirin qatlami eng kuchli va ko'pgina neyron tarmoqlardan juda farq qiladi. Chiqish qatlami tasniflash yoki regressiya kabi bashorat qilish vazifalari uchun mo'ljallangan.
RBF neyron tarmoqlari kontseptual jihatdan K-Yaqin qo'shniga o'xshaydi(k-NN) modellari, garchi ikkala modelning amalga oshirilishi keskin farq qiladi. Radial asosiy funktsiyalarning asosiy g'oyasi shundaki, ob'ektning bashorat qilingan maqsadli qiymati bashorat qiluvchi o'zgaruvchilarning yaqin qiymatlari bo'lgan boshqa elementlar bilan bir xil bo'lishi mumkin. RBF tarmog'i bir yoki bir nechta RBF neyronlarini bashorat qiluvchi o'zgaruvchilar tomonidan tasvirlangan maydonga joylashtiradi. Bo'shliq mavjud bashorat qiluvchi o'zgaruvchilar soniga mos keladigan bir nechta o'lchamlarga ega. Biz Evklid masofasini baholangan nuqtadan har bir neyronning markaziga hisoblaymiz. Radial asos funktsiyasi (RBF), shuningdek, yadro funktsiyasi sifatida ham tanilgan, har bir neyronning og'irligini (ta'sirini) hisoblash uchun masofaga qo'llaniladi. Radial asos funksiyasining nomi funksiyaning argumenti bo‘lgan radius masofasidan kelib chiqqan.
Radial asos funktsiyasi haqiqiy qiymatli funktsiya bo'lib, uning qiymati faqat boshlang'ichdan masofaga bog'liq. Radial asosli funktsiyalarning har xil turlaridan foydalansak ham, Gauss funktsiyasi eng keng tarqalgan.
Bir nechta bashorat qiluvchi o'zgaruvchilar misolida, Radial Funktsiyalar Neyron Tarmog'i o'zgaruvchilar bilan bir xil o'lchamlarga ega. Agar uchta neyron ikkita bashorat qiluvchi o'zgaruvchiga ega bo'shliqda bo'lsa, biz RBF funktsiyalaridan qiymatni taxmin qilishimiz mumkin. Har bir neyron uchun qayta ishlangan og'irliklarga ko'paytirilgan RBF funktsiyalarining chiqish qiymatlarini qo'shib, yangi nuqta uchun eng yaxshi taxmin qilingan qiymatni hisoblashimiz mumkin.
Neyron uchun radial asos funktsiyasi markaz va radiusdan (shuningdek, tarqalish deb ataladi) iborat. Radius turli neyronlar orasida farq qilishi mumkin. DTREG tomonidan yaratilgan RBF tarmoqlarida har bir o'lchamning radiusi farq qilishi mumkin.
Tarqalish kattalashgani sayin, bir nuqtadan uzoqda joylashgan neyronlar ko'proq ta'sir qiladi.
Radial asos funktsiyalari - bu uchta qatlamdan tashkil topgan oldinga yo'naltirilgan neyron tarmoqlarning maxsus klassi : kirish qatlami, yashirin qatlam va chiqish qatlami. Bu ko'plab qatlamlardan tashkil topgan va chiziqli bo'lmagan faollashtirish funktsiyalarini takroran qo'llash orqali nochiziqlilikni keltirib chiqaradigan ko'pgina neyron tarmoq arxitekturalaridan tubdan farq qiladi. Kirish qatlami kirish ma'lumotlarini oladi va uni hisoblash sodir bo'ladigan yashirin qatlamga o'tkazadi. Radial Basis Functions Neyron tarmog'ining yashirin qatlami eng kuchli va ko'pgina neyron tarmoqlardan juda farq qiladi. Chiqish qatlami tasniflash yoki regressiya kabi bashorat qilish vazifalari uchun mo'ljallangan.
RBF tarmoqlari qanday ishlaydi?
RBF neyron tarmoqlari kontseptual jihatdan K-Yaqin qo'shniga o'xshaydi(k-NN) modellari, garchi ikkala modelning amalga oshirilishi keskin farq qiladi. Radial asosiy funktsiyalarning asosiy g'oyasi shundaki, ob'ektning bashorat qilingan maqsadli qiymati bashorat qiluvchi o'zgaruvchilarning yaqin qiymatlari bo'lgan boshqa elementlar bilan bir xil bo'lishi mumkin. RBF tarmog'i bir yoki bir nechta RBF neyronlarini bashorat qiluvchi o'zgaruvchilar tomonidan tasvirlangan maydonga joylashtiradi. Bo'shliq mavjud bashorat qiluvchi o'zgaruvchilar soniga mos keladigan bir nechta o'lchamlarga ega. Biz Evklid masofasini baholangan nuqtadan har bir neyronning markaziga hisoblaymiz. Radial asos funktsiyasi (RBF), shuningdek, yadro funktsiyasi sifatida ham tanilgan, har bir neyronning og'irligini (ta'sirini) hisoblash uchun masofaga qo'llaniladi. Radial asos funksiyasining nomi funksiyaning argumenti bo‘lgan radius masofasidan kelib chiqqan.
Radial asos funktsiyalari
Radial asos funktsiyasi haqiqiy qiymatli funktsiya bo'lib, uning qiymati faqat boshlang'ichdan masofaga bog'liq. Radial asosli funktsiyalarning har xil turlaridan foydalansak ham, Gauss funktsiyasi eng keng tarqalgan.
Bir nechta bashorat qiluvchi o'zgaruvchilar misolida, Radial Funktsiyalar Neyron Tarmog'i o'zgaruvchilar bilan bir xil o'lchamlarga ega. Agar uchta neyron ikkita bashorat qiluvchi o'zgaruvchiga ega bo'shliqda bo'lsa, biz RBF funktsiyalaridan qiymatni taxmin qilishimiz mumkin. Har bir neyron uchun qayta ishlangan og'irliklarga ko'paytirilgan RBF funktsiyalarining chiqish qiymatlarini qo'shib, yangi nuqta uchun eng yaxshi taxmin qilingan qiymatni hisoblashimiz mumkin.
Neyron uchun radial asos funktsiyasi markaz va radiusdan (shuningdek, tarqalish deb ataladi) iborat. Radius turli neyronlar orasida farq qilishi mumkin. DTREG tomonidan yaratilgan RBF tarmoqlarida har bir o'lchamning radiusi farq qilishi mumkin.
Tarqalish kattalashgani sayin, bir nuqtadan uzoqda joylashgan neyronlar ko'proq ta'sir qiladi.
RBF tarmoq arxitekturasi
Radial asosli neyron tarmog'ining odatiy arxitekturasi kirish qatlami, yashirin qatlam va yig'ish qatlamidan iborat.
Kirish qatlami
Kirish qatlami har bir bashorat qiluvchi o'zgaruvchi uchun bitta neyrondan iborat. Kirish neyronlari qiymatni yashirin qatlamdagi har bir neyronga uzatadi. N-1 neyronlari kategorik qiymatlar uchun ishlatiladi, bu erda N toifalar sonini bildiradi. Qiymatlar diapazoni medianani ayirish va kvartillar oralig'iga bo'lish yo'li bilan standartlashtiriladi.
Yashirin qatlam
Yashirin qatlam o'zgaruvchan sonli neyronlarni o'z ichiga oladi (ta'lim jarayoni bilan aniqlangan ideal raqam). Har bir neyron bir nuqtada joylashgan radial asosli funktsiyani o'z ichiga oladi. O'lchovlar soni bashorat qiluvchi o'zgaruvchilar soniga to'g'ri keladi. RBF funktsiyasining radiusi yoki tarqalishi har bir o'lcham uchun farq qilishi mumkin.
Kirish qatlamidan kirish qiymatlarining x vektori berilganda, yashirin neyron sinov holati va neyronning markaziy nuqtasi orasidagi Evklid masofasini hisoblab chiqadi. Keyin tarqalish qiymatlari yordamida yadro funktsiyasini qo'llaydi. Olingan qiymat yig'ish qatlamiga kiritiladi.
Chiqish qatlami yoki yig'indisi qatlami
Yashirin qatlamdan olingan qiymat neyron bilan bog'liq og'irlik bilan ko'paytiriladi va yig'indiga o'tkaziladi. Bu erda vaznli qiymatlar qo'shiladi va yig'indi tarmoqning chiqishi sifatida taqdim etiladi. Tasniflash muammolari har bir maqsadli toifaga bitta natijaga ega bo'lib, qiymat baholanayotgan ishning shu toifaga ega bo'lish ehtimoli hisoblanadi.
Kirish vektori
Bu siz tasniflamoqchi bo'lgan n o'lchovli vektor. Barcha kirish vektori RBF neyronlarining har biriga taqdim etiladi.
RBF neyronlari
Har bir RBF neyroni o'quv majmuasi vektorlari orasidan prototip vektorini (neyron markazi sifatida ham tanilgan) saqlaydi. RBF neyroni kirish vektorini prototipi bilan taqqoslaydi va o'xshashlik o'lchovi sifatida 0 dan 1 gacha bo'lgan qiymatni chiqaradi. Agar kirish prototip bilan bir xil bo'lsa, neyronning chiqishi 1 bo'ladi. Kirish va prototip farqi o'sishi bilan chiqish eksponent ravishda 0 ga tushadi. RBF neyronining javob shakli qo'ng'iroq chizig'idir. Javob qiymati faollashtirish qiymati deb ham ataladi.
Chiqish tugunlari
Tarmoqning chiqishi siz tasniflamoqchi bo'lgan har bir toifa uchun tugunlar to'plamini o'z ichiga oladi. Har bir chiqish tugunlari tegishli toifa uchun ball hisoblaydi. Umuman olganda, biz eng yuqori ball to'plagan toifaga kirishni belgilash orqali tasniflash qarorini qabul qilamiz.
Bal barcha RBF neyronlarining faollashuv qiymatlarining vaznli yig'indisi asosida hisoblanadi. Odatda o'z toifasiga kiruvchi RBF neyroniga ijobiy og'irlik va boshqalarga salbiy og'irlik beradi. Har bir chiqish tugunining o'ziga xos og'irliklari mavjud.
to'liq o'qitilgan radial asos funktsiyasi misolini ko'rib chiqaylik.
Ma'lumotlar to'plami ikkita alohida sinfga tegishli ikki o'lchovli ma'lumotlar nuqtalariga ega. RBF tarmog'i ushbu ma'lumotlar to'plamida 20 ta RBF neyronlari bilan o'qitilgan. Biz tanlangan prototiplarni belgilashimiz va kirish maydonida toifani bir ball bilan ko'rishimiz mumkin. Ko'rish uchun biz 3 o'lchamli to'r yoki kontur chizmasini chizishimiz mumkin.

Bir ballning eng yuqori va eng past toifadagi hududlari alohida belgilanishi kerak.

Birinchi toifadagi chiqish tugunida:
2-toifali RBF neyronlari uchun barcha og'irliklar salbiy bo'ladi.
1-toifali RBF neyronlari uchun barcha og'irliklar ijobiy bo'ladi.
Nihoyat, qaror chegarasining yaqinlashuvi cheklangan to'r bo'yicha ballarni hisoblash orqali chizilishi mumkin.
RBFNni tayyorlash
Trening jarayoni ushbu parametrlarni tanlashni o'z ichiga oladi:
Prototip (mu)
Har bir RBF neyroni uchun beta koeffitsienti va
Neyronlar va chiqish tugunlari orasidagi chiqish og'irliklari matritsasi.
Prototiplarni tanlash va ularni o'zgartirish uchun bir nechta yondashuvlar mavjud, masalan, har bir mashg'ulot misoli uchun RBF neyronini yaratish yoki o'quv ma'lumotlaridan tasodifiy k prototipni tanlash.
Beta koeffitsientlarini belgilashda sigmani klaster va markaz orasidagi o'rtacha masofaga teng qilib qo'ying.
Chiqish og'irliklarini gradient tushishi yordamida o'rgatish mumkin.
RBFN ning afzalliklari
Oson dizayn
Yaxshi umumlashtirish
Tezroq trening
Faqat bitta yashirin qatlam
Yashirin qatlamdagi har bir tugunning ma'nosi yoki funktsiyasining to'g'ridan-to'g'ri talqini
Radial asosiy funktsiya neyron tarmoqlari funksiyalarni yaqinlashtirish muammolari va vektorli mashina tasnifini qo'llab-quvvatlash uchun ishlatiladigan tez-tez ishlatiladigan sun'iy neyron tarmoqlardir.
Radial asosli funktsiyalar ko'p o'zgaruvchili funktsiyalarni bir o'zgarmas funksiyaga asoslangan atamalarning chiziqli birikmalaridan foydalangan holda taxmin qilish usullarini taqdim etadi.
Radial asos funktsiyalari (RBF) chiziqli bo'lmagan tasniflagich sifatida ishlash uchun nazorat ostidagi mashinani o'rganishdan (ML) foydalanadigan haqiqiy qiymatli funktsiyalardir . Uning qiymati kirish va ma'lum bir sobit nuqta orasidagi masofaga bog'liq.
RBF neyron tarmog'ining asosiy afzalliklari:
Oson dizayn
Yaxshi umumlashtirish
Tezroq trening
Faqat bitta yashirin qatlam
Kirish shovqiniga kuchli bardoshlik
Yashirin qatlamdagi har bir tugunning ma'nosi yoki funktsiyasini oson talqin qilish
Ko'p qatlamli perseptron (MLP) va Radial Basis Function (RBF) - oldinga uzatish tarmoqlari deb ataladigan mashhur neyron tarmoq arxitekturasi. RBF va MLP o'rtasidagi asosiy farqlar:
MLP bir yoki bir nechta yashirin qatlamlardan, RBF esa faqat bitta yashirin qatlamdan iborat.
RBF tarmog'i MLP bilan solishtirganda tezroq o'rganish tezligiga ega. MLP-da trening odatda har bir qatlam uchun orqaga tarqalish orqali amalga oshiriladi. Ammo RBFda treningni orqaga tarqalish yoki RBF tarmog'ini gibrid o'rganish orqali amalga oshirish mumkin.