Ўзбекистон республикаси ахборот технологиялари ва коммуникatsiяларини ривожлантириш вазирлиги муҳаммад ал-хоразмий номидаги тошкент ахборот технологиялари университети

4.Training on Multiple GPUs
Bitta GTX 580 GPU atigi 3 Gb xotiraga ega, bu esa tarmoqlarning maksimal hajmini cheklaydi unga o'rgatish mumkin. Ma'lum bo'lishicha, tarmoqlarni o'qitish uchun 1,2 million ta o'quv misollari etarli Ular bitta GPUga sig'ish uchun juda katta. Shuning uchun biz tarmoqni ikkita GPU bo'ylab tarqatamiz. Joriy GPUlar Ular, ayniqsa, o'zaro GPU parallelizatsiyasi uchun juda mos keladi, chunki ular o'qish va yozish imkoniyatiga ega bir-birining xotirasi to'g'ridan-to'g'ri, asosiy kompyuter xotirasidan o'tmasdan. Parallelizatsiya Biz ishlatadigan sxema asosan yadrolarning yarmini (yoki neyronlarni) har bir GPUga qo'yadi, bittasi bilan qo'shimcha hiyla: GPUlar faqat ma'lum qatlamlarda muloqot qiladi. Bu shuni anglatadiki, masalan, 3-qatlam yadrolari 2-qatlamdagi barcha yadro xaritalaridan ma'lumot oladi. Biroq, 4-qatlamdagi yadrolar kirishni oladi faqat bitta GPUda joylashgan 3-qatlamdagi yadro xaritalaridan. Shaklni tanlash ulanish o'zaro tekshirish uchun muammo hisoblanadi, lekin bu bizga miqdorini aniq sozlash imkonini beradi hisoblash miqdorining maqbul qismi bo'lgunga qadar aloqa bo’ladi
Natijada paydo bo'lgan arxitektura Cire¸san tomonidan qo'llaniladigan "ustunli" CNN arxitekturasiga biroz o'xshaydi. va boshqalar, bundan mustasno, bizning ustunlarimiz mustaqil emas. Bu sxema bizning top-1ni kamaytiradi va eng yaxshi beshlikdagi xatolik stavkalari mos ravishda 1,7% va 1,2% ga ko'p bo'lgan tarmoq bilan solishtirganda yarim baravar ko'p. Har bir konvolyutsion qatlamdagi yadrolar bitta GPUda o'rgatilgan. Ikki GPU tarmog'i biroz kamroq vaqt oladi bitta-GPU net2 ko'ra o'rgatish uchun

Foydalanilgan adabiyot

1. 
   https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf
   

.