Neyron toʼrlari yordamida tasvirlardagi belgilarni tanib olish algoritmlari

O‘ZBEKISTON RESPUBLIKASI AXBOROT TEXNOLOGIYALARI VA KOMMUNIKATSIYALARINI RIVOJLANTIRISH VAZIRLIGI

MUHAMMAD AL-XORAZMIY NOMIDAGI TOSHKENT AXBOROT TEXNOLOGIYALARI UNIVERSITETI




Fan: Algoritmlarni loyihalash
Mavzu:
Neyron toʼrlari yordamida tasvirlardagi belgilarni tanib olish algoritmlari.


IoT 217-21 guruh 1-kurs magistri:
Maxkamov Farxod Aloviddinovich

Reja:
1. Kirish
2."muntazam" neyron tarmoqlar.
3.Konvolyutsion neyron tarmoqlar
4.Biometrikada neyron tarmoqlar va yuzni aniqlash
5.Algoritmning sifatini aniqlash
Shunday qilib, biz tasvirni aniqlash muammosini hal qilamiz. Bu yuzlar, narsalar, belgilar va boshqalarni tanib olish bo'lishi mumkin. Men qo'lda yozilgan raqamlarni tanib olish muammosini ko'rib chiqishni taklif qilaman. Ushbu vazifa bir necha sabablarga ko'ra yaxshi:
Qo'lda yozilgan belgini tanib olish uchun rasmiylashtirilgan (aqlli emas) algoritmni tuzish juda qiyin va bu aniq bo'lib, siz turli odamlar yozgan bir xil raqamga qarashingiz kerak.Vazifa juda dolzarb va OCR (optik belgilarni aniqlash) bilan bog'liq.Yuklab olish va tajriba o'tkazish uchun bepul qo'lda yozilgan belgilar bazasi mavjud.Ushbu mavzu bo'yicha bir nechta maqolalar mavjud va turli xil yondashuvlarni taqqoslash juda oson va qulay.Kirish ma'lumotlari sifatida MNIST ma'lumotlar bazasidan foydalanish taklif etiladi. Ushbu ma'lumotlar bazasida 60000 ta o'quv juftligi (rasm - yorliq) va 10000 ta test juftligi (yorliqsiz rasmlar) mavjud. Tasvirlar hajmi bo'yicha markazlashtirilgan va normalizatsiya qilingan. Har bir raqamning o'lchami 20x20 dan oshmaydi, ammo ular 28x28 kvadrat ichida yozilgan. MNIST ma'lumotlar bazasining o'quv to'plamidan dastlabki 12 ta raqamga misol quyidagi rasmda keltirilgan:
Shunday qilib, vazifa quyidagicha tuzilgan: qo'lda yozilgan belgilarni tanib olish, ularning rasmlarini kirish sifatida qabul qilish va 10 ta chiqishdan birini faollashtirish uchun neyron tarmoq yaratish va o'qitish.... Faollashtirish deganda biz chiqishda 1 qiymatini tushunamiz. Bunday holda, boshqa chiqimlarning qiymatlari (ideal) -1 ga teng bo'lishi kerak. Nima uchun o'lchov ishlatilmayotganini keyinroq tushuntirib beraman.
2. "muntazam" neyron tarmoqlar.
Aksariyat odamlar "oddiy" yoki "klassik" neyron tarmoqlar tomonidan xatolikni orqaga qaytarish bilan to'la bog'langan neyron tarmoqlarni bir-biriga bog'lab turishadi:


Nomidan ko'rinib turibdiki, bunday tarmoqda har bir neyron har biriga bog'langan, signal faqat kirish qatlamidan chiqishga yo'nalish bo'yicha boradi, rekursiyalar bo'lmaydi. Biz bunday tarmoqni qisqartirilgan shaklda PNS deb ataymiz.Birinchidan, ma'lumotlarni kiritishga qanday topshirishni hal qilishingiz kerak. PNS uchun eng sodda va deyarli tortishuvsiz echim ikki o'lchovli tasvir matritsasini bir o'lchovli vektor sifatida ifodalashdir. O'sha. o'lchamlari 28x28 bo'lgan qo'l yozuvi shaklidagi rasm uchun biz 784 ta kirishga ega bo'lamiz, bu etarli emas. Ko'plab konservativ olimlar asab tarmog'i olimlarini va ularning uslublarini - arxitekturani tanlashni yoqtirmaydigan narsa nima bo'ladi. Va ularga yoqmaydi, chunki me'morchilik tanlovi sof shamanizmdir. Hozirga qadar muammoning tavsifiga asoslanib neyronal tarmoqning tuzilishini va tarkibini aniq belgilashga imkon beradigan usullar mavjud emas. Himoyada shuni aytmoqchimanki, rasmiylashtirish qiyin bo'lgan vazifalar uchun bunday usul deyarli yaratilmaydi. Bundan tashqari, tarmoqni qisqartirishning turli xil usullari (masalan, OBD), shuningdek, turli xil evristikalar va qoidalar mavjud. Ushbu qoidalardan birida yashirin qatlamdagi neyronlarning soni hech bo'lmaganda kattaligi kattaligi tartibidan kattaroq bo'lishi kerakligi aytilgan. Agar rasmdan sinf ko'rsatkichiga o'tishning o'zi ancha murakkab va mohiyatan chiziqli emasligini hisobga olsak, bu erda bitta qatlam etarli emas. Yuqorida aytib o'tilganlarga asoslanib, biz yashirin qatlamlarda neyronlarning soni tartibda bo'lishini taxmin qilamiz 15000 (2-qatlamda 10 000, uchinchisida 5 000). Bundan tashqari, ikkita yashirin qatlamli konfiguratsiya uchun raqam moslashtiriladigan va o'qitiladigan havolalar kirish va birinchi yashirin qatlam o'rtasida 10 million bo'ladi + birinchi va ikkinchi o'rtasida 50 million + ikkinchi va hafta oxiri o'rtasida 50 ming, agar bizda 10 ta chiqish mavjud deb hisoblasak, ularning har biri 0 dan raqamni bildiradi 9. Hammasi bo'lib 60,000,000 ulanishlar... Ularning sozlanishi haqida bejiz aytmagan edim, ya'ni mashg'ulotlar davomida siz ularning har biri uchun xato gradientini hisoblashingiz kerak bo'ladi.Bu erda nima qila olasiz, sun'iy aqlning go'zalligi qurbon bo'lishni talab qiladi. Ammo agar siz o'ylab ko'rsangiz, biz tasvirni baytlarning chiziqli qatoriga aylantirganda, biz biron bir narsani qaytarib bo'lmaydigan darajada yo'qotayotganimizni eslaymiz. Bundan tashqari, har bir qatlam bilan bu yo'qotish yanada kuchayadi. To'g'ri - biz rasmning topologiyasini yo'qotamiz, ya'ni. uning alohida qismlari o'rtasidagi munosabatlar. Bundan tashqari, tanib olish vazifasi asab tarmog'ining kichik siljishlarga, burilishlarga va tasvir o'lchovidagi o'zgarishlarga chidamli bo'lish qobiliyatini nazarda tutadi, ya'ni. u ma'lumotlardan u yoki bu shaxsning qo'lyozmasiga bog'liq bo'lmagan ba'zi bir invariantlarni chiqarishi kerak. Xo'sh, juda murakkab bo'lmagan va shu bilan birga turli xil tasvir buzilishlariga nisbatan o'zgarmas bo'lishi uchun asab tarmog'i qanday bo'lishi kerak?
3. Konvolyutsion neyron tarmoqlar
Ushbu muammoning echimi tibbiyot sohasidagi Nobel mukofoti sovrindorlari Torsten Nils Vizel va Devid X. Xubelning ishlaridan ilhomlanib, fransuz-amerikalik olim Yan LeKune tomonidan topilgan. Ushbu olimlar mushuk miyasining vizual korteksini tekshirib ko'rishdi va oddiy burchakli hujayralar deb nomlangan bo'lib, ular har xil burchakdagi tekis chiziqlarga va reaksiyalarning bir yo'nalishda harakatlanishiga javob beradigan murakkab hujayralarga kuchli ta'sir ko'rsatadi. Yang LeCun konvulsion deb nomlangan neyron tarmoqlardan foydalanishni taklif qildi.
4. Natijalar
Matlabcentral dasturda allaqachon o'qitilgan neyron tarmoq fayllari, shuningdek ish natijalarini namoyish qilish uchun GUI mavjud. Quyida tanib olishning namunalari keltirilgan:

Ushbu havolada MNIST asosida tanib olish usullarini taqqoslash jadvali mavjud. 0,39% tanib olish xatolari natijasida konvulsion neyron tarmoqlari uchun birinchi o'rin. Ushbu noto'g'ri aniqlangan rasmlarning aksariyati hamma tomonidan to'g'ri tan olinmaydi. Bundan tashqari, ishda kirish tasvirlarining elastik buzilishlari va dastlabki nazoratsiz mashg'ulotlar ishlatilgan. Ammo boshqa usulda yana bir narsa sifatida ushbu usullar haqida.

5.Biometrikada neyron tarmoqlar va yuzni aniqlash
Tanib olishning yuqori aniqligiga erishish uchun neyron tarmog'i, masalan, MegaFace ma'lumotlar bazasidagi kabi ko'plab rasmlarda o'qitiladi.Bu yuzni tanib olishning asosiy mashg'ulot usuli.

Anjir. 6. MegaFace ma'lumotlar bazasida 690 mingdan ortiq odamning 1 million tasviri mavjud
Tarmoq yuzlarni aniqlashga o'rgatilgandan so'ng, yuzni aniqlash jarayoni quyidagicha tavsiflanishi mumkin (7-rasm). Birinchidan, tasvir yuz detektori yordamida qayta ishlanadi: tasvirning to'rtburchaklar qismini yuz bilan aniqlaydigan algoritm. Ushbu fragment neyron tarmog'ida ishlov berishni osonlashtirish uchun normallashtiriladi: agar barcha kirish tasvirlari bir xil o'lchamda, rangda va boshqalarda bo'lsa, eng yaxshi natijaga erishiladi. algoritm bo'yicha. Ushbu algoritm odatda tanib olish sifatini oshirish uchun kompaniyaning noyob rivojlanishi hisoblanadi, ammo bu muammo uchun "standart" echimlar ham mavjud. Neyron tarmog'i noyob xususiyat vektorini yaratadi, so'ngra ma'lumotlar bazasiga o'tkaziladi. Qidiruv tizim uni ma'lumotlar bazasida saqlangan barcha xususiyat vektorlari bilan taqqoslaydi va qidiruv natijasini ma'lum miqdordagi ismlar yoki yuz xususiyatlariga o'xshash foydalanuvchi profillari ko'rinishida beradi, ularning har biriga ma'lum bir raqam beriladi. Ushbu raqam bizning xususiyat vektorimizning ma'lumotlar bazasida o'xshashligi darajasini anglatadi.

Anjir. Yuzni tanib olish jarayoni
6.Algoritmning sifatini aniqlash
Aniqlik
Ob'ektga yoki yuzni aniqlash muammosiga qaysi algoritmni qo'llashni tanlayotganda, biz turli algoritmlarning samaradorligini taqqoslash vositasiga ega bo'lishimiz kerak. Ushbu qismda biz buni amalga oshiradigan vositalarni tasvirlaymiz.Yuzni aniqlash tizimining sifati biometrikadan foydalangan holda autentifikatsiya qilish uchun tizimdan foydalanishning odatiy stsenariylariga mos keladigan ko'rsatkichlar to'plami yordamida baholanadi.Qoida tariqasida, har qanday neyron tarmog'ining ishlashi aniqlik bilan o'lchanishi mumkin: parametrlarni o'rnatgandan va o'quv jarayonini tugatgandan so'ng, tarmoq sinovlar to'plamida sinovdan o'tkaziladi, buning uchun biz o'qituvchining javobiga egamiz, ammo bu alohida o'quv to'plami. Odatda, bu parametr miqdoriy o'lchovdir: tizim yangi ob'ektlarni tanib olish qobiliyatini ko'rsatadigan raqam (ko'pincha foizda). Yana bir keng tarqalgan o'lchov - bu xato (u foizda yoki raqamli ekvivalentda ifodalanishi mumkin). Biroq, biometriya bo'yicha aniqroq choralar mavjud.Umuman olganda biometrikada va ayniqsa yuzni tanib olish uchun biometrikada ikki xil dastur mavjud: tekshirish va identifikatsiya qilish. Tekshirish - bu shaxsning tasvirini (yuz xususiyatlari vektori yoki boshqa xususiyatlar vektori, masalan, to'r pardasi yoki barmoq izlari) bir yoki bir nechta oldindan saqlangan shablonlar bilan taqqoslash orqali ma'lum bir shaxsni tasdiqlash jarayoni. Identifikatsiya - bu shaxsning shaxsini aniqlash jarayoni. Biometrik namunalar yig'ilib, ma'lumotlar bazasidagi barcha andozalar bilan taqqoslanadi. Yopiq funktsiyalar to'plamida identifikatsiya mavjud, agar u ma'lumotlar bazasida bir kishi bor deb taxmin qilinsa. Shunday qilib, tanib olish atamalarning birini yoki ikkalasini birlashtiradi - tekshirish va identifikatsiya qilish.Ko'pincha, to'g'ridan-to'g'ri taqqoslash natijasidan tashqari, tizimning qaroriga "ishonch" darajasini baholash talab qilinadi. Ushbu qiymat "o'xshashlik ballari" (yoki o'xshashlik ballari) deb nomlanadi. O'xshashlik ko'rsatkichi yuqoriroq bo'lganligi, taqqoslangan ikkala biometrik namunaning o'xshashligini ko'rsatadi.