4 Ma’ruza Sun'iy neyron tarmoqlar (snt) ning tasnifi va ishlash tamoyillari

Xatolarni orqaga tarqalishi algoritmi
Orqaga tarqalish algoritmi ko'p qatlamli to’g’ri tarqalish neyron tarmoqlarni o'qitish usullaridan biridir. Xatolarni orqaga tarqalish (qaytarish) algoritmi bo'yicha o'qitish tarmoqning barcha qatlamlari bo'ylab ikkita o'tishni o'z ichiga oladi: oldinga va orqaga. Oldinga o'tishda kirish vektori neyron tarmog'ining kirish qatlamiga beriladi, shundan so'ng u tarmoq bo'ylab qatlamdan qatlamga tarqaladi. Natijada, chiqish signallari to'plami hosil bo'ladi, bu tarmoqning berilgan kirish tasviriga haqiqiy javobidir. Oldinga o'tish paytida tarmoqning barcha sinaptik og'irliklari o'rnatiladi. Orqaga o'tish paytida barcha sinaptik og'irliklar xatolarni tuzatish qoidasiga muvofiq o'rnatiladi, ya'ni: haqiqiy tarmoq chiqishi keraklidan chiqariladi, natijada xato signali paydo bo'ladi. Keyinchalik bu signal tarmoq bo'ylab sinaptik ulanishlarga teskari yo'nalishda tarqaladi. Shuning uchun nomi - orqaga tarqalish algoritmi. Sinaptik og'irliklar tarmoq chiqishini istalganiga imkon qadar yaqinroq qilish uchun sozlangan.
Quyidagi yozuvni kiritamiz: Xi- kirish vektori, Yi- chiqish vektori, , k-qavatning j-chi neyronining j- i- vazn koeffitsienti, , k-qatlamning i-neyronining chegarasi, d_i- i -neyronning etalon chiqish qiymati. k-qatlamning j-chi neyronining chiqish qiymati quyidagi formula bo'yicha hisoblanadi:

Chiqish qatlamining j-chi neyronining chiqish qiymati quyidagi formula bo'yicha hisoblanadi:

Tarmoq xatosi funktsionali quyidagiga tengdir

Qaysiki

chiqish qatlamining j-chi neyronining xatosi.
k-yashirin qatlamning j-elementi xatosi

Xato gradiyentlari:

Neyronlarning og'irlik koeffitsientlari va siljilishlari quyidagi formulalar bilan hisoblanadi:

Ko'p qatlamli NT o'rgatish algoritmi
1. O'rgatish bosqichi a (0< a <1) va tarmoqning kerakli o'rtacha kvadrat xatosi Em o'rnatiladi.
2. NN ning og'irlik koeffitsientlari wi,jk va pol bjk qiymatlari tasodifiy ishga tushiriladi.
3. O'quv namunasidagi tasvirlar ketma-ket neyron tarmoq kirishiga beriladi. Har bir rasm uchun quyidagi harakatlar bajariladi:
a. Neyron tarmoq orqali kirish tasvirini to'g'ridan-to'g'ri tarqatish bosqichi amalga oshiriladi. Barcha neyronlarning chiqish qiymati Yjk hisoblanadi.
b. Chiqish va yashirin qatlamlardagi neyronlarning pj xatoliklari hisoblanadi.
c. Neyron elementlarning vazn koeffitsientlari va chegaralari neyron tarmoqning har bir qatlami uchun o'zgartiriladi.
4. Neyron tarmoqning umumiy xatosini hisoblang E
5. Agar E>Em bo'lsa, u holda 3-bosqichga o'ting, aks holda algoritm tugatiladi.
Chuqur o'rganish (Deep Learning) nima?
Bu savolga javob berish uchun uning mashinali o'rganish, neyron tarmoqlar va sun'iy intellekt bilan qanday o'zaro ta'sirini tushunishimish kerak. Buning uchun biz konsentrik doiralar yordamida vizualizatsiya usulidan foydalanamiz:

Tashqi doira - bu umuman sun'iy intellekt (masalan, kompyuterlar). So’ng, - mashinali o'rganish va markazda - chuqur o'rganish va sun'iy neyron tarmoqlar.
Taxminan aytganda, chuqur o'rganish - bu sun'iy neyron tarmoqlar uchun qulayroq nom. Ushbu iboradagi "chuqur" neyron tarmog'ining murakkablik (chuqurlik) darajasini bildiradi, bu ko'pincha juda yuzaki bo'lishi mumkin.
Birinchi neyron tarmoqni yaratuvchilar miya yarim korteksining tuzilishidan ilhomlangan. Tarmoqning asosiy darajasi, perseptron, mohiyatan biologik neyronning matematik analogidir. Va miyada bo'lgani kabi, neyron tarmog'ida bir-biri bilan kesishgan perseptronlar paydo bo'lishi mumkin. Neyron tarmoqning birinchi qatlami kirish qatlami deb ataladi. Ushbu qatlamning har bir tugunlari ma'lum bir ma'lumotni kirish sifatida qabul qiladi va uni boshqa qatlamlardagi keyingi tugunlarga uzatadi. Ko'pincha, bitta qatlamning tugunlari o'rtasida hech qanday aloqa yo'q va zanjirning oxirgi tuguni neyron tarmoq natijasini ko'rsatadi. O'rtadagi tugunlar yashirin deb ataladi, chunki ular chiqish va kirish tugunlari kabi tashqi dunyo bilan aloqalari yo'q. Ular faqat oldingi qatlamlar faollashtirilgan taqdirdagina chaqiriladi.

Chuqur o'rganish mohiyatan naqshlar yordamida murakkab muammolarni (masalan, nutqni aniqlash) hal qilish uchun bir nechta qatlamlardan foydalanadigan neyron tarmoqni o'qitish usulidir. 1980-yillarda yuqori xarajat va cheklangan ma'lumotlar imkoniyatlari tufayli aksariyat neyron tarmoqlar bir qatlamli edi.
Agar biz mashinani o'rganishni sun'iy intellekt ishining bir qismi yoki varianti deb hisoblasak, chuqur o'rganish bunday filialning ixtisoslashgan turi hisoblanadi. Mashinani o'rganish kompyuter intellektidan foydalanadi, bu esa darhol javob bermaydi. Buning o'rniga, kod test ma'lumotlari bo'yicha ishlaydi va ularning natijalarining to'g'riligiga qarab, uning kursini moslashtiradi. Ushbu jarayonning muvaffaqiyati uchun odatda statik usullar va chiziqli algebrani tavsiflovchi turli xil texnikalar, maxsus dasturiy ta'minot va informatika qo'llaniladi.