Axborot texnologiyalari, tarmoqlar va telekommunikatsiyalar

APACHESPARK VA MAPREDUCE HISOBLASH MODELLARI VA 
ULARNING QIYOSIY TAHLILI 
Hamrayeva Saida Ismailovna, Sattorova Go‘zal Shamil qizi 
TATU Urganch filiali 
 
ApacheSpark va MapReduce hisoblash modellarining asosiy tamoyillarini, 
arxitekturasi, asosiy xususiyatlari, Spark qo‘llaniladigan sohalarga misollar hamda 
Apache Spark va Hadoop MapReduce – taqqoslash xususiyatilari keltirilgan 
Kalit so‘zlar: 
ApacheSpark, API, Hadoop MapReduce, Big Data, Spark 
Core, Streaming. 
ApacheSpark 2014-yilda foydalanvchilarga tadim qilingan va u shundan 
buyon katta ma’lumotlar dunyosida yetakchi hisoblanadi. Sparkning qulay APIlari 
va Hadoop MapReducedan tezligi 100 barobar tezroq ishlaydi. Spark ochiq 
manbali ma’lumotlarni Spark klaster xotirasida ishlaydi va u Hadoopning 

---

International scientific conference "INFORMATION TECHNOLOGIES, NETWORKS AND 
TELECOMMUNICATIONS" ITN&T-2022 Urgench, 2022y April 29-30 
365 
MapReduce ikki bosqichli paradigmasiga bog‘liq emasligi uchun tez sindira oladi. 
Bu bir xil ma’lumotlarga takroriy kirishni ancha tezlashtiradi. Spark mustaqil 
dastur sifatida yoki Hadoop YARN tepasida ishlashi mumkin, u yerda HDFS-dan 
ma’lumotlarni to‘g‘ridan-to‘g‘ri o‘qiy oladi. Yahoo, Intel, Baidu, Yelp va Zillow 
kabi o‘nlab yirik texnologiya kompaniyalari allaqachon Sparkdan o‘zlarining 
texnologik to‘plamlarining bir qismi sifatida foydalanmoqda.[1] 
Katta ma’lumotlarni tahlil qilish, jumladan Google MapReduce, Yahoo 
PNUTS, Microsoft SCOPE, Twitter Storm va spark, LinkedIn’s Kafka va 
Walmart, bundan tashqari, bir nechta kompaniyalar, jumladan, Facebook ham 
foydalanadi va Apache Hadoop (MapReduce-ning ochiq manba ilovasi) va uning 
ekotizimiga hissa qo‘shdi. 
Katta ma’lumotlarni an’anaviy ma’lumotlarni qayta ishlash birliklari 
yordamida qiyinchilik bilan qayta ishlanishi mumkin bo‘lgan ulkan ma’lumotlar 
yuki deb atash mumkin. Katta ma’lumotlarning eng yaxshi namunasi Facebook, 
Instagram, WhatsApp va YouTube kabi ijtimoiy media saytlari bo‘lishi 
mumkin.[1] 
Apache Spark dastlab 2009 yilda UC Berklida Databricks kompaniyasiga 
asos solgan jamoa tomonidan ishlab chiqilgan. Spark ishga tushirilgandan beri tez 
o‘zlashtirildi va o‘sdi. Netflix, Apple, Facebook, Uber kabi ilg‘or texnologik 
tashkilotlarning aksariyati ma’lumotlarni qayta ishlash va tahlil qilish uchun Spark 
klasterlariga ega. Spark-ga bo‘lgan talab juda tez sur’atlar bilan o‘sib bormoqda. 
Marketanalysis.com hisobot prognoziga ko‘ra, global Apache Spark bozori 2019 
va 2022 yillar oralig‘ida 67% CAGR darajasida o‘sadi. Spark global bozorining 
daromadi tez sur’atlar bilan kengayib bormoqda va 2022 yilga kelib 4,2 milliard 
dollarga o‘sishi mumkin, jami bozor esa 9,2 milliard dollarni tashkil qiladi. (2019 
– 2022). 
Apache ma’lumotlariga ko‘ra, “Apache Spark - bu keng ko‘lamli 
ma’lumotlarni qayta ishlash uchun yagona tahlil mexanizmi” dir. 
Spark Big Data va mashinani o‘rganish texnologiyalaridan foydalanadi, 
shuning uchun undan ma’lumotlar muhandislari, ma’lumotlar bo‘yicha olimlar va 
ma’lumotlar tahlilchilari kabi ma’lumotlar olimlari foydalanadi.[2] 
Apache Spark - bu katta ma’lumotlarda klasterli hisoblash va katta hajmdagi 
ma’lumotlarni qayta ishlash uchun ishlatiladigan platforma. Spark RAMdagi 
ma’lumotlarni qayta ishlaydi va diskka kamdan-kam kiradi, shuning uchun u juda 
tez ishlaydi. 
Apache Spark Hadoop ekotizimiga to‘liq mos keladi va uni mavjud 
yechimlarga osongina integratsiyalash mumkin. HDFS, Hive, S3, HBase, 
Cassandra o‘zining ma’lumotlar omboriga ega emas va turli manbalar bilan 
ishlashi mumkin. Scala, Python, Java, SQL esa bir nechta dasturlash tillarini 
qo‘llab-quvvatlaydi: 
MapReduce hisob-kitoblari diskda amalga oshiriladi va Spark ularni 
operativ xotirada bajaradi va shu tufayli uning ishlashi 100 barobar ortadi. Biroq, 
ekspertlar e’lon qilingan Spark har doim ham muammoni hal qilishga qodir 
emasligi haqida ogohlantirmoqda. Agar siz 10 TB dan ortiq maʼlumotni qayta 

---

International scientific conference "INFORMATION TECHNOLOGIES, NETWORKS AND 
TELECOMMUNICATIONS" ITN&T-2022 Urgench, 2022y April 29-30 
366 
ishlashingiz kerak boʻlsa, klassik MapReduce hisob-kitobni yakunlaydi, biroq 
Sparkda bunday hisoblash uchun yetarli xotira bo ʻlmasligi mumkin. 
Quyida Spark qo‘llaniladigan sohalarga misollar keltirilgan: