Axborot texnologiyalari, tarmoqlar va telekommunikatsiyalar

AsiaInfo: 
Spark Core, Streaming, MLlib va Graphx va Hadoopdan 
telekommunikatsiya sanoati hamda boshqa sanoat tarmoqlaridagi mijozlarimiz 
uchun tejamkor ma’lumotlar markazi yechimini yaratish uchun foydalanadi. 
Atp: 
Dasturli marketingning dolzarbligini oshirish uchun bashoratli 
modellar va o‘rganish algoritmlari. 
Kredit Karma: 
Spark yordamida shaxsiylashtirilgan tajribalarni yaratadi 
eBay Inc: 
Jurnal tranzaksiyalarini yig‘ish va tahlil qilish uchun Spark 
yadrosidan foydalanish 
Kelkoo: 
Spark Core, SQL va Streamingdan foydalanish. Mahsulot 
tavsiyalari, BI va analitika, real vaqtda zararli faoliyatni filtrlash va ma ʼlumotlarni 
qidirish. 
Hadoop - bu Apache Software Foundation tomonidan ishlab chiqilgan ochiq 
manbali ma’lumotlarni qayta ishlash vositasi. Hozirda Hadoop juda katta hajmdagi 
va turli xil ma’lumotlarni qayta ishlash dasturidir, chunki u keng ko‘lamli 
kompyuterlarni arzonroq va moslashuvchan qilish uchun yaratilgan. Hadoopning 
kelishi bilan, odamlar va boshqa tashkilotlarga sezilarli darajada ommaviy ishlov 
berish joriy etildi.[2] 
MapReduce - bu klasterda parallel, taqsimlangan algoritmga ega bo‘lgan 
katta ma’lumotlar to‘plamlarini qayta ishlash va yaratish uchun dasturlash modeli. 
Dasturchilar uzoq vaqt davomida C++, Java, C#, Python kabi turli tillarda 
parallel dasturlar yozmoqdalar. Biroq, ularning o‘ziga xos nuanslari bor va ularni 
saqlab qolish dasturchining mas’uliyati. Ilovaning ishdan chiqishi, unumdorlikning 
pasayishi, noto‘g‘ri natijalar ehtimoli bor. Bundan tashqari, bunday tizimlar juda 
katta bo‘lsa, nosozliklarga juda chidamli emas yoki ularga xizmat ko‘rsatish qiyin. 
MapReduce bularning barchasini soddalashtirdi. Xatolarga chidamlilik, 
parallel bajarish, resurslarni boshqarish Resurs menejeri va ramkaning 
javobgarligidir. Dasturchilar faqat xaritani yozish va funktsiyalarni qisqartirish 
orqali biznes mantig‘iga e’tibor qaratishlari kerak. 
Katta ma’lumotlarda ma’lumotlarni qayta ishlash uchun gorizontal 
miqyoslilik juda muhimdir. Klasterdagi tugunlar qanchalik ko‘p bo‘lsa, 
ma’lumotlar tezroq qayta ishlanadi. Spark ham bundan mustasno emas. O‘z 
uskunangizda ma’lumotlarni qayta ishlash uchun klasterlarni qurish qiyin va 
foydasiz. Sizga qancha server kerakligini va ular qanchalik kuchli bo‘lishi 
kerakligini oldindan taxmin qilish qiyin. Agar siz juda ko‘p serverlardan 
foydalansangiz, ular bo‘sh qoladi. Agar juda kichik bo‘lsa, unda ma’lumotlarni 
qayta ishlash uzoq vaqt talab etadi. Shuning uchun bulutli texnologiyalarga e’tibor 
qaratish lozim.[3] 
Apache Spark - bu hisoblash tezligini oshirish uchun mo‘ljallangan ochiq 
manbali, yashin tezligida katta ma’lumotlar bazasi. Hadoop MapReduce, diskdan 
o‘qish va yozish, natijada hisoblashni sekinlashtiradi. Spark Hadoop tepasida 

---

International scientific conference "INFORMATION TECHNOLOGIES, NETWORKS AND 
TELECOMMUNICATIONS" ITN&T-2022 Urgench, 2022y April 29-30 
367 
ishlay oladi va hisoblash tezligini yaxshiroq hal qiladi. Ushbu qo‘llanma Apache 
Spark va Hadoop MapReduce o‘rtasidagi to‘liq taqqoslashni beradi. 
Map Reduce - bu HDFS-ga ma’lumotlarni yozish va HDFS-da taqdim 
etilgan tuzilgan va tuzilmagan ma’lumotlarni qayta ishlash uchun ochiq manbali 
ramka. Map Reduce faqat ommaviy ishlov berish bilan cheklangan va boshqalarda 
Spark har qanday ishlov berishni amalga oshirishi mumkin. Spark - Hadoop kabi 
har qanday tarqatilgan fayl tizimiga o‘rnatilishi mumkin bo‘lgan mustaqil real vaqt 
rejimida ishlov berish mexanizmi. Spark unumdorligi diskdagi Map Reducedan 10 
marta va xotiradagi tarmoqdagi Map Reducedan 100 barobar tezroq ishlash 
imkonini beradi. 
Xulosa. Spark Map Reducega qaraganda ancha rivojlangan hisoblash 
mexanizmga ega. Spark har qanday turdagi fayllar bilan mos keladi va Map 
Reduce-dan ham tezroq ishlaydi. Bundan tashqari, Spark shuningdek, grafiklarni 
qayta ishlash va mashinani o‘rganish imkoniyatlariga ega. Sparkda amalga 
oshirilgan 
turli 
loyihalar 
bo‘yicha ishlashda keskin o‘zgarishlar va 
muvaffaqiyatsizliklar kamaygan. Ko‘pgina ilovalar ishlab chiquvchilarga taqdim 
etayotgan samaradorlik uchun Sparkga ko‘chirilmoqda. Apache Sparkdan 
foydalanish har qanday biznesga turtki berishi va uning o‘sishiga yordam berishi 
mumkin.