Ўзбекистон республикаси ахборот технологиялари ва коммуникatsiяларини ривожлантириш вазирлиги муҳаммад ал-хоразмий номидаги тошкент ахборот технологиялари университети

3. ReLU Nonlinearity
Neyron chiqishi f sifatida modellashtirishning standart usuli
uning kirish x funksiyasi f(x) = tanh(x) bilan
yoki f(x) = (1 + e−x)−1. Trening vaqti bo'yicha
gradient tushish bilan, bu to'yingan nochiziqlar
to'yinmagan chiziqlilikka qaraganda ancha sekinroq
f(x) = max(0, x). Nair va Xintondan keyin [20],
biz bu chiziqli bo'lmagan neyronlarni Rectified deb ataymiz
Chiziqli birliklar (ReLUs). Chuqur konvolyutsion neyron tarmog'i ReLUs bilan ishlaydi, ularga qaraganda bir necha baravar tezroq mashq qiladi
tan birliklari bilan ekvivalentlar. Bu ko'rsatilgan
CIFAR-10 da 25% mashq xatosiga erishish uchun kerak bo'lgan takrorlashlar sonini ko'rsatadigan 1-rasm
ma'lum bir to'rt qavatli konvolyutsion tarmoq ishi uchun ma'lumotlar to'plami. Bu syujet biz bo'lmaganimizni ko'rsatadi
uchun bunday yirik neyron tarmoqlar bilan tajriba o'tkazishga qodir
Agar biz an'anaviy to'yingan neyrondan foydalansak, bu ish
Modellar

Biz CNNda an'anaviy neyron modellariga muqobil variantlarni birinchi bo'lib ko'rib chiqmayapmiz. Masalan, Jarrett

va boshqalar. [11] nochiziqlilik f(x) = |tanh(x)| deb da'vo qiladi
ayniqsa, ularning kontrasti yoki noto'g'riligi, keyin mahalliy o'rtacha birlashma bilan yaxshi ishlaydi
Caltech-101 ma'lumotlar to'plami. Biroq, ushbu ma'lumotlar to'plamida asosiy tashvish haddan tashqari moslashishning oldini olishdir, shuning uchun ta'sir
ular kuzatayotgan tezlashtirilgandan farq qiladi
ReLU-lardan foydalanganda biz xabar beradigan o'quv majmuasiga moslashish qobiliyati. Tezroq o'rganish unga katta ta'sir ko'rsatadi
katta ma'lumotlar to'plamlarida o'qitilgan katta modellarning ishlashi
1-rasm: To'rt qavatli konvolyutsion neyron ReLU (qattiq chiziq) bilan tarmoq 25% ga etadi CIFAR-10 da o'quv xatosi darajasi olti baravar tezroq tanh neyronlari bilan ekvivalent tarmoqqa qaraganda (kesikli chiziq). Mashg'ulotlarni iloji boricha tezroq qilish uchun har bir tarmoq ishining o'rganish stavkalari mustaqil ravishda tanlandi. Hech qanday tartibga solish qo'llanilmadi. ning kattaligi Bu erda ko'rsatilgan effekt tarmoqqa qarab farq qiladi arxitektura, lekin ReLUs tarmoqlari ekvivalentlarga qaraganda bir necha baravar tezroq o'rganishdan iborat to'yingan neyronlar bilan.