Superkompyuter haqida Linux bilan bog'lamasdan gaplashib bo'lmaydi



Download 1,71 Mb.
bet11/19
Sana04.07.2022
Hajmi1,71 Mb.
#739114
1   ...   7   8   9   10   11   12   13   14   ...   19
Bog'liq
mustaqil iw 222

Amalga oshirilmagan: tartibli arxitekturada ko'rsatmalar ketma-ket bajariladi, chunki kompilyator ularni ishlayotgan dasturni yaratish uchun yaratgan. Boshqa tomondan, bu eng samarali emas, chunki ba'zilar ko'proq vaqt talab qilishi mumkin yoki yo'riqnomaning natijasini to'sib qo'yadigan hodisani kutib, protsessorda pufakchalar yoki o'lik vaqtlarni kiritishi kerak. Boshqa tomondan, ishdan chiqqan holda u doimiy ravishda protsessorni buyruqdan qat'i nazar, ko'rsatmalar bilan oziqlantirib, ishlab chiqarish vaqtini ko'paytiradi. Bunga men kiritmaydigan algoritmlar orqali erishiladi.

Odatda, amaldagi protsessorlarning aksariyati, Intel, AMD, IBM POWER, SPARC, ARM va hk. Olish uchun barcha darajadagi parallellik, quvur liniyasi, superskalar, tartibsiz bajarish, registrning nomini o'zgartirish va boshqalar aralashmasi ishlatiladi. juda ko'p ishlash. Agar ko'proq bilmoqchi bo'lsangiz, maslahatlashishingiz mumkin Flinn taksonomiyasi, tizimlarni ajratib turadigan:

  • SISD: bitta ma'lumotni faqat bitta ma'lumot bilan qayta ishlashga qodir bo'lgan ishlov berish birligi. Ya'ni, ko'rsatmalar va ma'lumotlarni ketma-ket, birma-bir bajaradi.

  • SIMD: bitta ko'rsatma va bir nechta ma'lumotlar, bu holda parallellik faqat ma'lumotlar yo'lida bo'ladi va boshqaruv yo'lida emas. Hozirgi ishlov berish birliklari bir vaqtning o'zida bir nechta ma'lumotlarga bir xil ko'rsatmalarni bajarishi mumkin. Bunga mikroprotsessorlarda erishgan vektorli protsessorlar, GPU va ba'zi multimedia kengaytmalari misol bo'ladi (masalan: SSE, XOP, AVX, MMX,…).

  • Miss: bu holda parallellik ko'rsatmalar darajasida bo'lib, bitta ma'lumot oqimida bir nechta ko'rsatmalarni bajarishga imkon beradi. Sizda X va Y borligini tasavvur qiling va siz X + Y, XY, X · Y va X / Y ni bir vaqtning o'zida ishlatishingiz mumkin.

  • MIDM: Bu eng parallel, chunki u bir vaqtning o'zida bir nechta ma'lumotlarga oid bir nechta ko'rsatmalarni bajarishi mumkin ...

Va menimcha, bu bilan parallellik tamoyillari aniq. Agar siz chuqurroq borishni istasangiz, men ushbu maqolaning so'nggi qismida qoldirgan va hayotimning so'nggi 17 yilida ishlagan manbalarga kirishingiz mumkin.

Xotira tizimlari:



Qayta ishlash usuli yoki protsessor birligidan qat'i nazar, xotira kerak. Ammo bu erda biz biroz jiddiy muammolarga duch kelmoqdamiz, chunki parallellik bilan, xotira tizimlari izchil bo'lishi kerak va noto'g'ri ma'lumotlar yaratmaslik uchun bir qator xususiyatlarga ega. Xavotir olmang, men buni sizga misol bilan juda sodda qilib tushuntiraman.
Sizda borligini tasavvur qiling bitta protsessor Qo'shish buyrug'ini bajarayotganda, bu $ Z = Y + X $ deb tasavvur qiling, chunki u holda hech qanday muammo bo'lmaydi, chunki protsessor qo'shimcha buyruqni olib keladi va uning arifmetik birligiga Y va X xotira joylarini qo'shishni aytadi. ma'lumotlar va nihoyat u natijani xotiraning Z holatida saqlaydi. Muammo yo'q! Ammo bir nechta CPU bo'lsa nima bo'ladi? Z = Y + X ni bajaradigan, lekin boshqa CPU B bilan birga X = Y - 2 bajaradigan protsessor A ning xuddi shu misolini tasavvur qiling.
Xo'sh, unga qadriyatlarni beraylik har bir harfga: Y = 5, X = 7. Agar shunday bo'lsa, agar protsessor A birinchi bo'lib ishlasa, bizda Z = 5 + 7, ya'ni Z = 12 bo'lar edi. Ammo agar B protsessor birinchi bo'lib ishlasa, X = 5 - 2 = 3, shuning uchun u xotiraga va do'konga kirish huquqiga ega bo'ladi. 3-ni X saqlanadigan manzilda, shuning uchun agar CPU A ushbu holatga kirsa, u xuddi shu ko'rsatmani bajaradi, ammo natijasi Z = 3 + 7, shuning uchun Z = 10. Ooops! Bizda allaqachon muvaffaqiyatsiz bo'lgan jiddiy muvaffaqiyatsizlik mavjud, aks holda hech narsa to'g'ri ishlamaydi ...
Shu sababli xotira tizimlari bir qator rivojlangan ushbu izchillikni saqlash usullari va natija to'g'ri bo'lishi uchun qaysi operatsiyani oldin yoki keyin bajarish kerakligini biling. Hatto sizning uy kompyuteringizda ham shunday bo'ladi, chunki hozirda sizda bir xil xotiraga kiradigan bir nechta yadrolar mavjud va bu nafaqat mikrorimitekturalardan foydalaniladi, shuningdek, ko'p o'qish, superskalar tizimlari va tartibsiz ijrodan foydalanadi, bu esa murosaga keladi. tuzatuvchi choralar ko'rilmasa, bunday izchillik. Minglab shular bilan superkompyuterda tasavvur qiling ...
Lekin albatta, ishlab chiqarish xarajatlarini kamaytirish chiplar ommaviy va texnologiyaning etukligi Tarmoqlar ko'plab o'zaro bog'liq protsessorlarga ega bo'lgan mashinalarga nisbatan tez o'zgarishga olib keldi va shu bilan birga xotira tizimini o'zgartirishga majbur qildi (Qarang: ulanish), chunki uy kompyuterida mavjud bo'lgan muammolar bir vaqtning o'zida ko'plab protsessorlarga ega bo'lish orqali minglab ko'payadi.
Mana shu ulash Men aytib o'tganimdek, vaqt o'tishi bilan rivojlanib, barcha protsessor birliklari tomonidan birgalikda ishlatiladigan asosiy xotiraga ega bo'lgan mahkam bog'langan tizimlardan; va har bir protsessor o'zining mustaqil (taqsimlangan) xotirasiga ega bo'lgan tizimlar bilan erkin bog'langan. Boshqa tomondan, so'nggi paytlarda men aytib o'tgan ikkita tizim asta-sekin suyultirilib, yutuqlarga erishilmoqda duragaylash, UMA (Uniform Memory Access) va NUMA (Non-Uniform Memory Access) sxemalari bilan, garchi bu men uzoq suhbatlashishim mumkin bo'lgan yana bir mavzu va bizni yana bir mega post uchun taqdim etsa ham.
Agar siz biron bir ma'lumot olishni istasangiz, shunchaki qisqacha aytib bering UMA arxitekturasi xotirani bir xil asosiy asosiy pozitsiyalariga kirish vaqtlari, kirishni amalga oshiradigan protsessordan qat'i nazar, bir xil (men kirishni o'qish yoki yozish operatsiyasi deb tushunaman). Buning sababi shundaki, u markazlashgan.
Holbuki NUMA, u bir xil emas va kirish vaqti uni so'ragan protsessorga bog'liq bo'ladi. Ya'ni mahalliy va mahalliy bo'lmagan xotira, boshqacha aytganda, umumiy va jismoniy taqsimlangan xotira mavjud. Siz tushunganingizdek, bu samarali bo'lishi uchun o'rtacha kechikish maksimal darajaga tushirilishi kerak va iloji bo'lsa, protsessor mahalliy ravishda bajaradigan ma'lumotlar va ko'rsatmalarni saqlang.

Kelajak: kvant hisoblash


La kremniydan keyin bo'lgan va hozirgi mikroelektronikaning barcha almashtirish texnologiyalari hali etuk emas va rivojlanish bosqichida. O'ylaymanki, radikal o'tish bo'lmaydi, lekin hozirgi silikonning imkoniyatlari u jismoniy darajasiga etguncha tugay boshlaydi va keyin gibrid texnologiyalar davri keladi, uning bazasi silikon bo'lib qoladi, chunki kvant hisoblash uchun sakrash uchun biroz uzoqroq kelajak ...


O'sha o'tish davrida menimcha ARMlar hal qiluvchi rol o'ynaydi va ularning energiya samaradorligi (ishlash / iste'mol qilish) uchun juda ko'p ko'rsatkichlar va bu juda shaxsiy fikr, ehtimol 2020-yillarda kremniyning chegarasiga erishiladi va 2030-yillarda u investitsiyalardan foydalangan holda kremniy texnologiyalari bo'yicha ishlab chiqarishni davom ettiradi. demoqchisiz va ularni biroz kengroq qilib aytasiz, chunki katta o'lim endi ishlab chiqarish xarajatlarini anglatadi, ammo quyish zavodini yangilash uchun bu ulkan sarmoyalarni kiritishingizga to'g'ri kelmasa, barqarorlik narx foydasiga o'ynaydi deb o'ylayman. Biroq, dizayner tomonidan, bu rivojlanish uchun katta kuch sarflashni talab qiladi, chunki ishlab chiqarish hajmini kamaytirmasdan sirtni ko'payishi uchun ishlashning munosib o'sishini taxmin qilish uchun ular kelayotgan mikroarxitekturalarni juda ko'p erkalatishlari va ko'proq mikroarxitekturalarga borishlari kerak bo'lishi mumkin. men nomlagan ARMlar kabi samarali ...
Kvant hisoblash mavzusiga qaytsak, ba'zilari allaqachon qurilgan kvantli kompyuterlarLekin, rostini aytganda, ko'rganlarimni ko'rib, ular hali ham cheklangan va korporatsiyalar uchun amaliy narsa bo'lishi uchun juda ko'p rivojlanishni talab qilishadi, va ular uylar uchun arzonga aylanish uchun etuk bo'lishidan oldin yana ko'p narsalarni qilishlari kerak. Ushbu bo'limni ochadigan rasmlarda ko'rib turganingizdek, ular hali ham mutlaq nol-(K (-273ºC) ga yaqinlashishi uchun sovutish kerak bo'lgan juda murakkab ilmiy fantastika ob'ektlari kabi ko'rinadi.
Bu harorat, xuddi shunday bo'lganidek, uning amaliy va massiv qo'llanilishini cheklaydi supero'tkazuvchilar. Supero'tkazuvchilar sohasida muhim qadamlar qo'yildi, ammo ish harorati hali 0ºS dan ancha past, garchi ular ularni xona haroratida yoki biroz normal chegaralarda ishlashga majbur qilsalar juda qiziq bo'lar edi. Harorat to'sig'idan tashqari, boshqa muammoli omillar bilan ham kurashish kerak, masalan, hozirgi ikkilik hisoblash asoslari va poydevorlari kvant hisoblash uchun ishlamaydi ...
Men supero'tkazgichlarni eslatib o'tmoqchi edim, chunki bu ba'zi bir kvant kompyuterlari biz aytadigan kubitlarni kvantlash yoki ajratib olish imkoniyatiga asoslangan texnologiyalardan biridir. Biroq, bu yagona bazal texnologiya emas, bizda ham mavjud ion asosidagi kvant kompyuterlari (bir yoki bir nechta elektron kam bo'lgan atomlar) lazer tuzoqlarida ushlangan kubitlarning elektronlar soniga asoslangan. Boshqa alternativa yadro spinlariga asoslangan kvant hisoblash, molekulalarning spin holatidan kvitits sifatida foydalanish ...
Tuzoqlarni qoldirib, men juda sodda tarzda tushuntirishga harakat qilaman kvant hisoblash nima?, hamma tushunishi uchun. Qisqacha aytganda, bu parallellikning yana bir bosqichi bo'lib, kelajakdagi kvant kompyuterlariga bunday miqdordagi ma'lumotlarni yoki ma'lumotlarni qayta ishlashga imkon beradi, shu bilan birga yangi kashfiyotlar qilishimiz va hozirda superkompyuterlar bilan hal qilib bo'lmaydigan muammolarni hal qilishimiz mumkin. Shuning uchun ular nafaqat texnologik inqilobni aks ettiradi, balki boshqa sohalardagi ilm-fan va texnika va insoniyat farovonligi uchun katta turtki bo'ladi.
Biz bilan boramiz kvant kompyuterining nima ekanligini oson tushuntirish. Bilasizmi, hozirgi kompyuterlar ikkilik tizimga asoslangan, ya'ni ular nol qiymatini yoki bittasini qabul qila oladigan bitlarni qayta ishlaydi (yoqish yoki o'chirish, yuqori yoki past kuchlanishlar, agar biz uni sxemalar nuqtai nazaridan ko'rsak) va o'sha kodlar Ikkiliklar - bu dasturlarni ishga tushirish va bugungi kunda kompyuterimizda nima qilishimiz mumkin bo'lsa, ularni qayta ishlashga imkon beradigan ma'lumotlar.
Aksincha, kvant kompyuterida kvant bitlari (deyiladi qubitlar, kvant bit) nafaqat yoqilgan yoki yopiq holatlarda (1 yoki 0) ishlamaydi, balki ular har ikkala holatda ham, ya'ni a davlatning bir-biriga o'xshashligi (yoqish va o'chirish). Buning sababi shundaki, u an'anaviy mexanikaga emas, balki kvant fizikasi qonunlariga asoslanadi. Shuning uchun men raqamli yoki ikkilik mantiq ishlamaydi va biz kutayotgan yangi kompyuter dunyosiga asos solish uchun yana bir kvant mantig'ini ishlab chiqishimiz kerakligini aytdim.
IBM Q platformasi bilan mashq qiling: har bir kishi 16 kubitli kvantli kompyuterdan foydalanishi uchun IBM tomonidan tashkil etilgan onlayn laboratoriya. Bu sizning dasturlaringizni yaratishda foydalanishingiz mumkin bo'lgan veb-ga asoslangan grafik interfeysga ega muharrir ...
Shuning uchun bitni o'rnini bosadigan ushbu yangi ma'lumot qubitlari birma-bir ko'p imkoniyatlar yoki ma'lumotlarni qayta ishlashga imkon beradigan bu parallellik yoki ikkilik tufayli yashirin potentsialga ega. Men seni qo'ydim Misol Siz buni yaxshiroq tushunishingiz uchun, agar qo'shimcha bit 0 bo'lsa, ikkita bit qo'shadigan (a, b) dasturga ega ekanligingizni tasavvur qiling va agar u qo'shimcha bit 1 qiymatiga ega bo'lsa, ularni olib tashlaydi. Shunday qilib, xotiraga yuklangan ko'rsatmalar ( a, b) bit 0 bo'lsa va (sub a, b) 1 ga teng bo'lsa, ikkala natijani olish, qo'shish va olib tashlash uchun uni ikki marta bajarishimiz kerak, shunday emasmi? Agar bu qo'shimcha bitning holati bir vaqtning o'zida ikkala shtatda ham bo'lishi mumkin bo'lsa-chi? Endi uni ikki marta ishga tushirishingiz shart emas, shunday emasmi?
Yana bir misol, kvant bo'lmagan kompyuterda 3 bitga tashlangan NOT buyrug'i borligini tasavvur qiling. Agar aytilgan ko'rsatmani ishga tushirish paytida ushbu uchta bit 010 qiymatiga ega bo'lsa, natija 101 ga teng bo'ladi. Boshqa tomondan, har bir qiymat har ikkala holatda bir vaqtning o'zida bo'lishi mumkin bo'lgan kubitlar bilan bir xil ko'rsatma bo'lsa, natija beradi. bir martalik barcha mumkin bo'lgan qiymatlar: 111, 110, 101, 100, 011, 010, 001 va 000. Bu uchun ilmiy simulyatsiyalar, kriptografiya, matematik masalalarni echishva hokazo, bu shunchaki ajoyib.
Ushbu texnologiyada kim etakchilik qilmoqda? Hozirda shunday ko'rinadi IBM etakchi hisoblanadigarchi Google, Intel va boshqa kompaniyalar yoki universitetlar raqobatdosh bo'lishsa-da, har safar ko'proq kvitlar bilan ishlashga qodir bo'lgan kvant kompyuterlarining prototiplarini ishga tushirmoqdalar, garchi ular yuqorida aytib o'tilganlarga qo'shimcha muammo tug'dirsa ham, ba'zida ularga bu kubitlarning ba'zilari kerak bo'ladi "parite" ning kubitlari sifatida, ya'ni natijalarning noto'g'ri emasligiga ishonch hosil qilish.

Muammolar: elektr energiyasi iste'moli va ishlab chiqarilgan issiqlik



El ushbu yirik mashinalarning iste'moli va issiqlik tarqalishi katta muammo muhandislar uchun. Maqsad bu iste'molni keskin kamaytirish va arzon narxlarda issiqlik bilan kurashishdir, chunki sovutish tizimlari kompyuterning o'zi iste'moliga qo'shilishi kerak bo'lgan elektr energiyasini ham sarflaydi. Shuning uchun ba'zi bir ekzotik g'oyalar ko'rib chiqilmoqda, masalan, suv ostida sovutish suyuqligi sifatida foydalanishlari uchun dengiz ostiga tushadigan ma'lumotlar markazlari (masalan: savdo markasi) Ftorinert ftor asosidagi sovutgichlar bo'lgan 3M dan) va murakkab konditsioner yoki sovutish suvi nasos tizimlarida tejash ...
Men allaqachon aytganimdek Google energiya narxi eng arzon bo'lgan hududlarni qidiradi o'zlarining server markazlarini o'rnatish uchun, agar farq juda oz bo'lsa ham, yillar o'tgandan keyin bu elektr energiyasi uchun millionlab tejashni anglatadi, menimcha, Ispaniyada bu bizning sevimli Endesamizning narxlari bilan murakkablashdi ...
Jihatidan issiqlik zichligi, Shuningdek, yana bir asosiy muammoni keltirib chiqaradi va bu server yoki superkompyuter komponentlarining ishlash muddatini qisqartirishi bo'lib, bu biz superkompyuterga ega bo'lishi kerak bo'lgan xususiyatlar bo'limida tavsiflaydigan chidamlilik va foydali ishlash xususiyatlariga ta'sir qiladi. Va bu issiqlik elektr energiyasi bilan bog'liq bo'lib, u issiqlik shaklida iste'mol qilinadigan energiyaning katta qismini isrof qiladi, xuddi ichki yonish dvigatellarida bo'lgani kabi, uning ishlashi unchalik katta emas va 25-30% gacha bo'lishi mumkin. benzin uchun yoki dizel yoqilg'isi uchun 30% va undan ko'p, ba'zi turbo uchun 40-50%. Bu shuni anglatadiki, masalan benzin bilan bog'liq holda, siz iste'mol qiladigan benzinning atigi 25 yoki 30% g'ildiraklarga kuch o'tkazish uchun sarflanadi, qolgan 75-70% elementlarning ishqalanishi tufayli issiqlik sifatida sarflanadi. Elektr dvigatellari 90% yoki undan yuqori samaradorlikka erishishi mumkinligi haqida batafsil ma'lumot sifatida ...
Garchi dvigatellarning bu misoli unchalik ahamiyatli emas bo'lsa-da, lekin shuni aytmoqchimanki, har doim qurilmada issiqlikni ko'rsangiz, bu energiya issiqlik shaklida isrof bo'layotganligini anglatadi.
Ushbu ikkita muammo taqdim etilgandan va aniq bo'lganidan so'ng issiqlik / energiya nisbatiSizga Xitoyning Tianhe-1A superkompyuterining misolini keltira olaman, u 4,04 MVt elektr energiyasini iste'mol qiladi, agar u kVt soat Ispaniyada bo'lgani kabi 0,12 evroga teng bo'lgan mamlakatda o'rnatilgan bo'lsa, bu 480 evro iste'mol qilishni anglatadi. soat (4000 kVt x € 0,12), yil davomida ulanganligini hisobga olsak, to'lanadigan yillik iste'mol miqdori 4.204.800 480 evro (24x365xXNUMX) ni tashkil qiladi. To'rt million evro - bu elektr energiyasi uchun to'lovni hisobga olish mumkin emas, shunday emasmi?
Agar biz ushbu sxemalarning samarasizligi sababli 4.204.800 evroni bilsak, uni to'lash yanada zerikarli. faqat bir foiz faqat biz uchun foydali bo'ldi, va boshqa yaxshi foiz issiqlik shaklida isrof qilingan. Va nafaqat bu, balki biz foydasiz, ammo jamoalarimizga ta'sir qiladigan bu issiqlikni yumshatish uchun pul sarflashimiz kerak edi. Bundan tashqari, atrof-muhitni hisobga olgan holda, energiya biron bir ifloslanishni keltirib chiqaradigan (qayta tiklanmaydigan) manbalardan olinadigan bo'lsa, bu nomutanosib iste'mol ham katta muammo hisoblanadi.

Yana bir namunali holat - bu Xitoyning superkompyuteri bo'lib, u hozir Top500-da birinchi o'rinni egallaydi, ya'ni 2018 yilda u eng yuqori hisoblash quvvatiga ega. Nomlangan Sunway Taihu nuri neft tadqiqotlari va boshqa ilmiy jihatlar, farmatsevtika tadqiqotlari va sanoat dizayniga mo'ljallangan. U RaiseOS (Linux) bilan ishlaydi, jami 40.960 SW26010 mikroprotsessorlardan foydalanadi (har bir chip 256 yadrodan iborat, jami 10.649.600 20 1,31 yadrodan iborat), 93 PB xotirani to'ldirish uchun qattiq disklar va agar biz qo'shsak 241 PB RAM xotirasi. barcha modullar. Bu sizga 15 PFLOPS hisoblash quvvatini beradi (agar bilmasangiz, FLOPS nima ekanligini keyinroq tushuntirib beraman). Uning narxi 16 million evroni tashkil etadi va iste'mol hajmi 6,051 MVtni tashkil qiladi, shu sababli u eng tejamkor (15 GFLOPS / W) reytingda 1-o'rinni egallab turibdi. Ushbu 3,75 MVt Tianhe-XNUMXA uchun elektr energiyasi uchun to'lovni XNUMX ga ko'paytirish kerakligini anglatadi ...


Hisoblash quvvatining nisbati, hatto aytilgan hisoblash hajmini yaratish uchun zarur bo'lgan vatt miqdoriga nisbatan ham o'lchanadi FLOPS / W birligi. Mashinaning har bir vattiga qancha ko'p FLOPS ishlab chiqarilishi mumkin bo'lsa, u shunchalik samarali bo'ladi va elektr energiyasi uchun to'lov past bo'ladi va harorat hosil bo'ladi, shuning uchun uni sovutish uchun xarajatlar ham bo'ladi. Hatto bu munosabatlar ham cheklovchi omil bo'lishi mumkin, chunki o'rnatilgan sovutgich uchun infratuzilma, agar bizda mavjud bo'lgan jihozlar bilan etarli darajada sovutilmasa, kelajakda kengayishiga yo'l qo'ymaydi. Shuni esda tutingki, bu ularga tegishli xususiyatlardan biriga e'tibor beradi: ishsizlik.

Superkompyuter taksonomiyasi:



Xo'sh, buning ko'p usullari mavjud superkompyuterlarni tasniflash, lekin men ularni ba'zi omillarga ko'ra qanday tasniflashni tushuntirishga qiziqaman. Aytganimdek, ko'pchilik serverlarni superkompyuter deb hisoblamaydi va men buni katta xato deb bilaman, chunki ular superkompyuterlar, aniqrog'i, superkompyuterlar ular hisoblash imkoniyatlarini oshirishga intilayotgan serverlarning o'ziga xos turi.
Shuning uchun men superkompyuterlarning turlari deyman uning ishlatilishiga ko'ra quyidagilar:

  • Server: Bu bir nechta mikroprotsessorlar va ba'zi bir RAID darajalari bilan tuzilgan bir nechta RAM modullari va qattiq disklardan tortib, minglab mikroprotsessorlarga ega katta mashinalarga, juda ko'p RAM va katta xotira hajmiga ega bo'lgan juda keng tarqalgan superkompyuter turi. Va ular serverlar deb ataladi, chunki ular qandaydir xizmat turlarini taklif qilishadi: saqlash, xosting, VPS, pochta, veb va hk.


  • Download 1,71 Mb.

    Do'stlaringiz bilan baham:
1   ...   7   8   9   10   11   12   13   14   ...   19




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish