One of the sub-fields of

Download 355,44 Kb. bet 3/5 Sana 18.04.2022 Hajmi 355,44 Kb. #560606

Bog'liq
Naive Bayes classifiers UZBEK

Bu sahifa navigatsiya:

• Table2-jadval.

har	davlat	bir davlatning	uning	o'z	qonunlari	bor har	bir mamlakat
madaniyati
xD1xD1	1	1	1	1	1	1	1 0	0	0
xD2xD2	0	0	1 1	1	1	0	1	1	1
11	1	1 11xizmatlarning1 1	2	2	2	1	1	1	1

Jadvalda misol berilgan 1 bir savol xususiyati vektor 1s va 0S ikkilik soni yoki yo'qligini emas (1 so'z muayyan hujjatda uchraydi, agar, 0 aks holda) yoki mutlaq soni (so'z har bir hujjatda uchraydi qanchalik tez-tez). Javob Naif Bayes klassifikatori uchun qaysi ehtimoliy model ishlatilishiga bog'liq:MultinomialyokiBernoullimodeli— ko'p variantli Bernoulli Naif Bayes bo'limidagi ehtimoliy modellarva Multinomial Naif Bayesbo'limidagi ehtimoliy modellar haqida.
Tokenizatsiya
Tokenizatsiyamatn korpusini turli xil tabiiy tillarni qayta ishlash algoritmlari uchun kirish vazifasini bajaradigan alohida elementlarga ajratishning umumiy jarayonini tavsiflaydi. Odatda, tokenizatsiya to'xtash so'zlari va tinish belgilarini olib tashlash, stemming yoki lemmatizatsiya qilish va n-gramm qurilishi kabi boshqa ixtiyoriy ishlov berish bosqichlari bilan birgan-gramskeladi. Quyida jumlani alohida so'zlarga ajratadigan, tinish belgilarini olib tashlaydigan va barcha harflarni kichik harflarga o'zgartiradigan oddiy, ammo odatiy tokenizatsiya bosqichining namunasi keltirilgan.
Table2-jadval.Example of Tokenizatsiyaga misol.

So'zlarni To'xtating
Stop so'zlari-bu matn korpusida ayniqsa keng tarqalgan va shuning uchun juda ma'lumotsiz deb hisoblanadigan so'zlar (masalan, kabi so'zlarshunday,va,yoki, ,..."). So'zlarni olib tashlashni to'xtatish uchun yondashuvlardan biri bu tilga xos to'xtash so'zlari lug'atiga qarshi qidirishdir. Muqobil yondashuvstop list-butun matn korpusidagi barcha so'zlarni chastota bo'yicha saralash orqali to'xtash ro'yxatini yaratish. Stop ro'yxati -setortiqcha bo'lmagan so'zlar to'plamiga aylantirilgandan so'ng-ushbu stop ro'yxatidagi eng yaxshi n so'zlar qatoridan joy olgan barcha so'zlarni kirish hujjatlaridan olib tashlash uchun ishlatiladin.

Download 355,44 Kb.

Do'stlaringiz bilan baham: