Bog'liq 1. Sun’iy intelekt, va uning yaratilish tarixi
Vektorli mashinalarni qo'llab-quvvatlash SVM giperplan yordamida ma'lumotlarni tasniflaydigan algoritm bo'lib, giperplan va qo'llab-quvvatlash vektorlari orasidagi masofa maksimal bo'lishiga ishonch hosil qiladi.
111.Bilimlar omborida saqlanadigan ma’lumotlar
Bilim – bu dasturda ishlatiladigan intellektual axborot.
Ekspert tizimni qurishdagi eng murakkab masalalardan biri bilimlar bazasi tizimini qurish va uni to‘ldirish hisoblanadi. Bu ikki bosqich o‘zaro yo‘nalishli (bir biriga bog‘liq), ikkinchi bosqichdan birinchi bosqichga o‘tish mumkin, shu bilan birga, ekspertdan olingan bilim boshlangich Bilimlar bazasiga mos tushmasligi mumkin.
U faqat faktlar, tavsiflangan muammolar maydoni, shuningdek, bu faktlarni o‘zaro aloqasidan iborat. Bilimlar bazasi markazida qoidalar joylashadi. Qoidaberilgan aniq holatda nima natija kelib chiqishini aniqlaydi va ikki qismdan iborat bo‘ladi: bajarilishi yoki bajarilmasligi mumkin bo‘lgan shart va agar shart bajarilganda kelib chiqadigan harakatdan iborat. Ekspert tizimida foydalanilgan barcha qoidalar tizim qoidasiniifodalaydi, hatto oddiy tizimlar ham bir necha ming qoidadan tashkil topishi mumkin. Bilimlarning barcha ko‘rinishi predmet maydoni o‘ziga xosligiga bog‘liq va shu yoki boshqa hollarda loyihachining mahorati (bilimlar muhandisi) adekvatlik darajasi
112.Big Data va uning xususiyatlari
113.Katta ma’lumotlar va ularning xususiyatlari
114. Katta ma’lumotlarning hajm va tezlik xususiyatlari
115. Katta ma’lumotlarning hajm va turli xillik xususiyatlari
116.Katta ma’lumotlarning turli xillik va tezlik xususiyatlari
117. Big Data ning hajm va tezlik xususiyatlari
118.Big Data ning hajm va turli xillik xususiyatlari
119.Big Data ning turli xillik va tezlik xususiyatlari
120.Big Data va uning ishonchlilik, dolzarblilik, zaiflilik, qiymatlilik va vizuallilik xususiyatlari
121. Lasso regressiyasi algoritmi
b) Lasso regressiyasi
Lasso regressiya algoritmi javob o'zgaruvchisi uchun bashorat qilish xatosini kamaytiradigan bashorat qiluvchilarning kichik to'plamini olish orqali ishlaydi. Bunga ma'lumotlar nuqtalariga cheklov qo'yish va ularning ba'zilarining nol qiymatiga qisqarishiga imkon berish orqali erishiladi.
122. Logistik regressiya algoritmi Logistik regressiya
Logistik regressiya asosan ikkilik tasniflash uchun ishlatiladi. Bu usul o'zgaruvchilar to'plamini tahlil qilish va toifali natijani bashorat qilish imkonini beradi. Uning asosiy ilovalari mijozlarning umr bo'yi qiymatini, uy-joy qiymatlarini va boshqalarni bashorat qilishni o'z ichiga oladi
123. Ko'p o'zgaruvchan regressiya algoritmi
Ko'p o'zgaruvchan regressiya
Agar bir nechta bashorat qiluvchi o'zgaruvchilar mavjud bo'lsa, bu algoritmdan foydalanish kerak. Ushbu algoritm chakana savdo sektoridagi mahsulotlarni tavsiya qilish mexanizmlarida keng qo'llaniladi, bu erda mijozlar afzal ko'rgan mahsulotlar brend, sifat, narx, sharh va boshqalarga bog'liq bo'ladi.
124.Ko'p regressiya algoritmi
2. Regressiya algoritmlari
Regressiya algoritmlari boshqariladigan mashinani o'rganish algoritmlari ostida mashhur algoritmdir. Regressiya algoritmlari o'quv tizimiga kiritilgan kirish ma'lumotlar nuqtalari asosida chiqish qiymatlarini bashorat qilishi mumkin. Regressiya algoritmlarining asosiy qo'llanilishi fond bozori narxini bashorat qilish, ob-havoni bashorat qilish va hokazolarni o'z ichiga oladi. Ushbu bo'limda eng keng tarqalgan algoritmlar:
Ko'p regressiya algoritmi
Ko'p regressiya algoritmi chiziqli regressiya va chiziqli bo'lmagan regressiya algoritmlarini bir nechta tushuntirish o'zgaruvchilari kirish sifatida qabul qiladi. Asosiy ilovalar orasida ijtimoiy fanlar bo'yicha tadqiqotlar, sug'urta da'volarining haqiqiyligi, xatti-harakatlar tahlili va boshqalar kiradi.
125. Klasterlash algoritmlari
129. Ierarxik klasterlash algoritmi
IBM firmasining Information Management System (IMS) tizimi (ko‘p tarqalgan va
taniqli) tipik vakil bo‘ladi. Uning birinchi varianti 1968 yilda paydo bo‘lgan. Hozirgacha
ko‘pgina ma’lumotlar bazasi u bilan ishlash imkoniyatiga ega. Bu MB da yangi texnologiyaga va
yangi texnikaga o‘tishda etarlicha muammolarni olib keladi.
Ma’lumotlarning iyerarxik strukturasi
Iyerarxik MB tartiblangan daraxtlar to‘plamidan tuziladi. Yanada aniqrog‘i, bir xil
turdagi daraxtlarning bir nechta tartiblangan nusxalari to‘plamidan iborat bo‘ladi. Daraxt turi
bitta “ildizli” tur yozuvidan va tartiblangan bitta yoki bir nechta daraxt osti turlaridan (ular har
biri daraxtning turidir) tashkil topadi. Daraxt turi umuman olganda iyerarxik ravishda tashkil
topgan yozuvlar turlari to‘plamini tasvirlaydi.
Daraxt turiga misol (MBning iyerarxik sxemasi):
Bu erda “Rahbar” (Начальник) va “Xodimlar” (Сотрудники) uchun “Bo‘lim” (Отдел) ajdod
y’ani davomchi bolib, “Rahbar” va “Xodimlar” esa “Bo‘lim” (avlodlari) davomchilaridir. Yozuv
turlari orasida bog‘lanish mavjud.
Bunday sxemadagi ma’lumotlar bazasi quyidagi ko‘rinishda tasvirlanadi (biz daraxtning bitta
nusxasini ko‘rsatayapmiz):
Barcha (avlod) davomchi turdagi nusxalar (ajdod) oldingi turdagi umumiy nusxalar bilan
yaqin, ya’ni egizak deyiladi. MB uchun to‘liq pastdan -yuqoriga, chapdan-o‘nga o‘tish tartibi
to‘liq (o‘rnatilgan) aniqlangan.
IMS da original va standart bo‘lmagan terminlar ishlatilgan: "сегмент" ornida "yozuv", hamda
"MB yozuvi" tushunchasida barcha daraxtlar sigmenti tushuniladi.
Ma’lumotlar ustida ish yuritish
Iyerarxik tashkil qilingan ma’lumotlar bilan ish yuritishda quyidagi operatorlarni misol
tariqasida namuna qilib olish mumkin:
MBda ko‘rsatilgan daraxtni topish;
Bir daraxtdan ikkinchisiga o‘tish;
Bitta yozuvdan boshqa daraxt ichiga kirish (masalan, bo‘limdan – birinchi xodimga);
Bitta yozuvdan ierarxiya tartibida boshqasiga o‘tish;
Yangi yozuvni ko‘rsatilgan o ‘ringa qo‘yish;
Joriy yozuvni o‘chirish;
Butunlikni chegaralash.
Avlod va ajdodlar o‘rtasidagi murojaatlar yaxlitligi avtomatik tarzda qo‘llabquvvatlanadi. Asosiy qoidalar: hech bir avlod o‘z ota-onasisiz yashay olmaydi. Shuni
ta’kidlash kerakki, shunga o‘xshash bir ierarxiyaga kiruvchi yozuvlar orasidagi murojaatlar
yaxlitligini qo‘llab bo‘lmaydi (bunday tashqi murojaatninig misoli sifatida, kurator yozuvi
turi nusxasida Kaf.nomeri maydoni tarkibi bo‘lishi mumkin).
Iyerarxik tizimlarda MB tasvirlaydigan forma iyerarxiyaga qo‘yilgan cheklashlar asosida
qo‘llanadi. Yuqorida keltirilgan MB namoyishi sifatida quyidagi iyerarxiyani keltirish
mumkin
130. Sodda Bayes va Vektorli mashinalarni qo'llab-quvvatlash algoritmlari
sodda Bayes
Naive Bayes algoritmi Bayes teoremasida ishlaydi va boshqa tasniflash algoritmlaridan farqli o'laroq, ehtimollik yondashuvini oladi. Algoritm har bir sinf uchun oldingi ehtimollar to'plamiga ega.Ma'lumotlar berilgandan so'ng, algoritm bu ehtimolliklarni yangilab, posterior ehtimollik deb nomlanuvchi narsani hosil qiladi.Bu kirish berilgan sinflar ro'yxatiga tegishli yoki yo'qligini taxmin qilish kerak bo'lganda foydali bo'ladi.
) Vektorli mashinalarni qo'llab-quvvatlash
SVM giperplan yordamida ma'lumotlarni tasniflaydigan algoritm bo'lib, giperplan va qo'llab-quvvatlash vektorlari orasidagi masofa maksimal bo'lishiga ishonch hosil qiladi.
131. Qarorlar daraxti va K eng yaqin qo'shnilar (KNN) algoritmi
) Qarorlar daraxti
Qaror daraxti algoritmi algoritmga o'xshash ko'proq oqim diagrammasi bo'lib, unda tugunlar kirish atributidagi testni, shoxlari esa test natijasini ifodalaydi.
) K eng yaqin qo'shnilar
KNN algoritmi yangi namunaviy ma'lumotlar nuqtasi sinfini bashorat qilish uchun sinflarga ajratilgan bir qator ma'lumotlar nuqtalaridan foydalanadi.U "dangasa o'rganish algoritmi" deb ataladi, chunki u boshqa algoritmlarga qaraganda nisbatan qisqa.
132. Tasodifiy o'rmon va Chiziqli regressiya algoritmlari
) Tasodifiy o'rmon
Tasodifiy o'rmon daraxtlar guruhi kabi ishlaydi. Kirish ma'lumotlar to'plami bo'linadi va turli qarorlar daraxtlariga beriladi. Barcha qarorlar daraxtlari natijalarining o'rtacha qiymati hisobga olinadi.Tasodifiy o'rmonlar qaror daraxti algoritmiga qaraganda aniqroq tasniflagichni taklif qiladi.
a) Chiziqli regressiya
U izchil o'zgaruvchilarni hisobga olgan holda haqiqiy sifatlarni o'lchash uchun ishlatiladi.Bu barcha regressiya algoritmlarining eng oddiyi, lekin faqat chiziqli munosabatlar yoki chiziqli ajratiladigan muammo holatlarida amalga oshirilishi mumkin. Algoritm ma'lumotlar nuqtalari o'rtasida eng mos chiziq yoki regressiya chizig'i deb ataladigan to'g'ri chiziq chizadi va yangi qiymatlarni bashorat qilish uchun ishlatiladi.
133. Vektorli mashinalarni qo'llab-quvvatlash va Ierarxik klasterlash algoritmlari
Vektorli mashinalarni qo'llab-quvvatlash
SVM giperplan yordamida ma'lumotlarni tasniflaydigan algoritm bo'lib, giperplan va qo'llab-quvvatlash vektorlari orasidagi masofa maksimal bo'lishiga ishonch hosil qiladi.
Iyerarxik MB tartiblangan daraxtlar to‘plamidan tuziladi. Yanada aniqrog‘i, bir xil turdagi daraxtlarning bir nechta tartiblangan nusxalari to‘plamidan iborat bo‘ladi. Daraxt turi bitta “ildizli” tur yozuvidan va tartiblangan bitta yoki bir nechta daraxt osti turlaridan (ular har biri daraxtning turidir) tashkil topadi. Daraxt turi umuman olganda iyerarxik ravishda tashkil topgan yozuvlar turlari to‘plamini tasvirlaydi.Daraxt turiga misol (MBning iyerarxik sxemasi)
Iyerarxik tashkil qilingan ma’lumotlar bilan ish yuritishda quyidagi operatorlarni misol
tariqasida namuna qilib olish mumkin:
MBda ko‘rsatilgan daraxtni topish;
Bir daraxtdan ikkinchisiga o‘tish;
Bitta yozuvdan boshqa daraxt ichiga kirish (masalan, bo‘limdan – birinchi xodimga);
Bitta yozuvdan ierarxiya tartibida boshqasiga o‘tish;
Yangi yozuvni ko‘rsatilgan o ‘ringa qo‘yish;
Joriy yozuvni o‘chirish;
Butunlikni chegaralash.
Iyerarxik tashkil qilingan ma’lumotlar bilan ish yuritishda quyidagi operatorlarni misol
tariqasida namuna qilib olish mumkin:
MBda ko‘rsatilgan daraxtni topish;
Bir daraxtdan ikkinchisiga o‘tish;
Bitta yozuvdan boshqa daraxt ichiga kirish (masalan, bo‘limdan – birinchi xodimga);
Bitta yozuvdan ierarxiya tartibida boshqasiga o‘tish;
Yangi yozuvni ko‘rsatilgan o ‘ringa qo‘yish;
Joriy yozuvni o‘chirish;
Butunlikni chegaralash.
134. K eng yaqin qo'shnilar (KNN) va Logistik regressiya algoritmlari
) K eng yaqin qo'shnilar
KNN algoritmi yangi namunaviy ma'lumotlar nuqtasi sinfini bashorat qilish uchun sinflarga ajratilgan bir qator ma'lumotlar nuqtalaridan foydalanadi.U "dangasa o'rganish algoritmi" deb ataladi, chunki u boshqa algoritmlarga qaraganda nisbatan qisqa.
Logistik regressiya
Logistik regressiya asosan ikkilik tasniflash uchun ishlatiladi. Bu usul o'zgaruvchilar to'plamini tahlil qilish va toifali natijani bashorat qilish imkonini beradi. Uning asosiy ilovalari mijozlarning umr bo'yi qiymatini, uy-joy qiymatlarini va boshqalarni bashorat qilishni o'z ichiga oladi
135. Regressiya algoritmlari. Logistik regressiya algoritmi
Regressiya algoritmlari
Regressiya algoritmlari boshqariladigan mashinani o'rganish algoritmlari ostida mashhur algoritmdir.Regressiya algoritmlari o'quv tizimiga kiritilgan kirish ma'lumotlar nuqtalari asosida chiqish qiymatlarini bashorat qilishi mumkin. Regressiya algoritmlarining asosiy qo'llanilishi fond bozori narxini bashorat qilish, ob-havoni bashorat qilish va hokazolarni o'z ichiga oladi. Ushbu bo'limda eng keng tarqalgan algoritmlar:
Logistik regressiya
Logistik regressiya asosan ikkilik tasniflash uchun ishlatiladi. Bu usul o'zgaruvchilar to'plamini tahlil qilish va toifali natijani bashorat qilish imkonini beradi. Uning asosiy ilovalari mijozlarning umr bo'yi qiymatini, uy-joy qiymatlarini va boshqalarni bashorat qilishni o'z ichiga oladi
136 Chiziqli regressiya va Ko'p o'zgaruvchan regressiya algoritmlari
a) Chiziqli regressiya
U izchil o'zgaruvchilarni hisobga olgan holda haqiqiy sifatlarni o'lchash uchun ishlatiladi.Bu barcha regressiya algoritmlarining eng oddiyi, lekin faqat chiziqli munosabatlar yoki chiziqli ajratiladigan muammo holatlarida amalga oshirilishi mumkin. Algoritm ma'lumotlar nuqtalari o'rtasida eng mos chiziq yoki regressiya chizig'i deb ataladigan to'g'ri chiziq chizadi va yangi qiymatlarni bashorat qilish uchun ishlatiladi.
Ko'p o'zgaruvchan regressiya Ko'p regressiya algoritmi
Agar bir nechta bashorat qiluvchi o'zgaruvchilar mavjud bo'lsa, bu algoritmdan foydalanish kerak. Ushbu algoritm chakana savdo sektoridagi mahsulotlarni tavsiya qilish mexanizmlarida keng qo'llaniladi, bu erda mijozlar afzal ko'rgan mahsulotlar brend, sifat, narx, sharh va boshqalarga bog'liq bo'ladi.
Ko'p regressiya algoritmi chiziqli regressiya va chiziqli bo'lmagan regressiya algoritmlarini bir nechta tushuntirish o'zgaruvchilari kirish sifatida qabul qiladi. Asosiy ilovalar orasida ijtimoiy fanlar bo'yicha tadqiqotlar, sug'urta da'volarining haqiqiyligi, xatti-harakatlar tahlili va boshqalar kiradi.