Ranking, atamalarni baholash va vektor modeli Tayyorladi: Buzurukov Bahodir

Parametrik zonalar

• Misol uchun WilliamShakespearening 1601 yilda yozilgan asarlari ichida alas poor Yorick frazasi bor dokumentni qidiraylik.
• Bu xolatda Shekespear so’zi bor yoki yo’qligini bulev o’zgaruvchisi ko’rsatadi. Og’irliklarni esa author =g1, title g2 va body = g3 deb belgilaymiz.
• g1 = 0,2 ; g2 = 0,3; g3 = 0,5 qilib belgilaymiz. Bu bergan qiymatlarimiz parametrik zonaning asosiy ko’rsatkichi bo’lib ushbu holatda dokumentning aftori dokument sarlavxasidan muhim emasligini bildiradi. Shu ma’lumotdan foydalanib ranking funksiyasi ishlaydi.

•  

alas poor Yorick

Termenning kelib chiqish statistikasiga asoslanib uning dokumentda axamiyatini xisoblash

• So’rov berilganda undagi terminlarni ya’ni so’zlarning vaznini qanday qilib xisoblash mumkin ?
• Dokumentda bitta termin qanchalik ko’p ishlatilishini hisoblab ko’raylik. Bunda dokumentda ishlatilgan terminlar soni bo’lsin. Dokument esa bo’lsin shunda termening dokumentdagi chastotasi deyiladi.
• Bu parametrdan ko’p foydalanib bo’lmaydi chunki chastota faqatgina termin necha marta uchrashini ko’rsatadi xolos. Mary is quicker than John va John is quicker than Mary dokumentlari chastota funksiya uchun ayni bir xil natija beradi.

•  

Termenning kelib chiqish statistikasiga asoslanib uning dokumentda axamiyatini xisoblash

Dokumentda termin og’irligini xisoblaganimizda termin qanchalik dokumentda ko’p bo’lsa shunchalik katta qiymatga ega og’irlik kelib chiqadi. Bundan ko’rinadiki dokumentda chastotasi katta bo’lgan termenning og’irligi kamroq bo’lishi kerak ekan.

Masalan avtomobillar haqida ma’lumot izlasak. Avto so’zi deyarli har bir dokumentda uchraydi. Bizga avtomobil haqida umumiy ma’lumot qolib, avtomobil kataloglari chiqib keladi.

Muammoni yechish uchun yana bir kattalik kiritamiz. Bu kattalik ushbu termenning qanchalik ko’p dokumentda mavjudligini ko’rsatsin.