Системный анализ Часть1

natijalar

Ushbu tizimning ishlashi uchun asosiy asos sifatida ochiq manbali mahsulot 

tanlandi. 

Apache Hadoop. 

Ushbu vosita tarqatilgan ma'lumotlar omborining funksionalligiga 

ega

(HDFS) 

va hisob-kitoblar (

 MapReduce, YARN). 

Ma'lumotlarni qayta ishlash va tizimga kodni 

talqin qilish uchun yuqori darajadagi mexanizm tanlandi.

API - Apache Spark. 

Dasturlash tili 

Scala.

Tizim arxitekturasi

Tizimning asosiy g'oyasi - tuzilgan o'lchov ma'lumotlarini dastlabki mahalliy qayta 

ishlash. 

Apache uchquni 

oldindan aniqlangan strukturaning mavjud ma'lumotlarini mahalliy 

(klaster rejimida emas) qayta ishlashni, so'ngra natijani butun klasterning kuchidan 

foydalangan holda keyingi hisob-kitoblar uchun taqsimlangan saqlashga saqlashni aytadi.

Taqsimlangan saqlash tushunchasi ma'lumotlarni uzatishni nazarda tutganligi sababli 

(ma'lumotlar bloklari in 

HDFS) 

klaster tugunlari orasidagi tarmoq orqali, shu bilan biz tizimga 

ma'lumotlarni kiritilishidan ancha kam o'tkazib, ishlov berish jarayonini tezlashtiramiz.

Ushbu usul o'lchov ma'lumotlarining o'ziga xos xususiyatlaridan foydalanishga 

imkon beradi, chunki ularda bajariladigan operatsiyalar ko'pincha statistik usullar 

hisoblanadi va qo'shimcha ishlov berishning yuqori kuchini yoki parallel ishlov berishda 

iplar sonining ko'payishini talab qilmaydi.

Shakl. 

bitta 

tizimning arxitekturasi taqdim etiladi, bu o'lchov ma'lumotlarini ramkada 

saqlash, qabul qilish va qayta ishlashga imkon beradi

Apache Hadoop.

Ob-havo stantsiyasidagi harorat ko'rsatkichlari o'rganilayotgan ma'lumotlar sifatida qabul 

qilindi. 

"USC00010505 - Bankhead Lock and Dam, AL, AQSh", 

tomonidan taqdim etilgan 

Atrof-muhitni 

muhofaza qilish bo'yicha milliy markazlar (Milliy Okeanografik ma'lumotlar markazi). [6]

 Ma'lumotlar 

jadval tuzilishiga ega va formatda taqdim etiladi 

CSV.

304

---

Shakl: bitta. 

Ma'lumotlarni qayta ishlash tizimi arxitekturasini o'lchash

Harorat ma'lumotlari bo'yicha tizim sinovlari.

Shakl. 

2018-04-02 121 2 

noyob strukturaning fayl ma'lumotlarining bir qismini taqdim etadi

bitta.

Shakl: 

2018-04-02 121 2 

Noyob tuzilish fayli 

bitta

Joriy faylda harorat ko'rsatkichlari asossiz darajada yuqori. Qulay

 Apache uchquni 

o'qishlar 

usuli yordamida yaxlitlandi 

"

 eng yaqin butunga

 ". 

Shakl. 

3 

olingan faylning bir qismi 

taqdim etiladi, to'g'ridan-to'g'ri tarqatilgan saqlashga saqlanadi (

 HDFS).

Shakl: 3. Resultativ fayl

305

---

Shakl. 

4 

noyob strukturaning fayl ma'lumotlarining bir qismini taqdim etadi

2018-04-02 121 2.

Shakl: 4. 

Noyob tuzilish fayli 

bitta

Joriy faylda harorat ko'rsatkichlari o'zgaradi: 

TMIN - 

tomonidan oshdi 

3.1, TMAX - 

tomonidan 

oshdi 

100, TOBS - 

tomonidan kamaytirilgan 

12.7. 

Qulay 

Apache uchquni 

har kuni har bir 

o'qishda tegishli matematik operatsiyalar bajarilgan. Shakl.

 5 

natijada olingan faylning bir 

qismi taqdim etiladi, to'g'ridan-to'g'ri ilgari yaratilgan faylda to'g'ridan-to'g'ri taqsimlangan 

xotirada saqlanadi.

Shakl: 5. 

Natija faylini davom ettirish

Ushbu echimlar 

Apache uchquni 

parallel ravishda ishlashi va tizimga olingan 

ma'lumotlarni qayta ishlashi, ularni umumiy tuzilishga kiritishi mumkin. Olingan faylni 

ishlash orqali butun klasterning hisoblash quvvati yordamida bog'liqliklarni qidirish 

mumkin

 Spark Job 

klaster rejimida.

Sinov sifatida o'rtacha qiymatlar topildi

TMIN, TMAX 

va 

TOBS 

har oy uchun. Rasmda

 6 

dasturning klaster rejimida ishlashining 

qisman natijasi taqdim etiladi.

306

---

Anjir .. 6. 

Klaster rejimida fayllarni qayta ishlash natijasi

Xulosa.

Ushbu maqola katta ma'lumotlarni qayta ishlash va saqlash bilan bog'liq asosiy 

tushunchalarni qamrab oldi. Dastlabki mahalliy (tarqatilmagan) ishlov berish yordamida 

o'lchov ma'lumotlarini qayta ishlash tezligini oshirishga imkon beradigan axborot tizimi 

ishlab chiqildi.

Ushbu tizim atipik bo'lib, standart echim va ishlov berish usullarining o'ziga xos 

xususiyatlari (bu holda statistik) va o'lchov ma'lumotlarini taqdim etish o'rtasidagi 

murosani anglatadi.