Ranking, atamalarni baholash va vektor modeli Tayyorladi: Buzurukov Bahodir

Termenning kelib chiqish statistikasiga asoslanib uning dokumentda axamiyatini xisoblash

• Misol tariqasida ushbu tablitsada try va insurance so’zlarining statistikasi cf bilan kolleksiyada termin necha marta takrorlangani borligi va df bilan nechta dokumentda shu termin borligi ko’rsatilgan.
• Mantiqan bilish mumkunki insurance termini try terminidan og’irroq bo’lishi kerak ekan.

Termenning kelib chiqish statistikasiga asoslanib uning dokumentda axamiyatini xisoblash

• Bundan xulosa qilib i) aniqlab olish muhumligini bilib olamiz. U quyidagi formula orqali xisoblanadi
• Bunda N dokumantlar soni. esa dokument chastotasi.
• Bu formula termin dokumentlarda qanchalik kam uchrasi shuncha katta qiymat qaytaradi.

•  

Termenning kelib chiqish statistikasiga asoslanib uning dokumentda axamiyatini xisoblash

• Terminning dokumentdagi chastotasi va invers dokument chastotasini kombinatsiya qilish orqali og’irligini olishimiz mumkin ekan. U quyidagi formula orqali xisoblanadi:
• Bu formul termin bir nechta dokumentda ko’p marta takrorlansa katta qiymatga ega bo’lar ekan.
• Formula dokumentda termin bor yo’g’i bir necha marta qaytarilsa, kichik qiymat qaytarar ekan.
• Formula termin ko’plab dokumentda uchrasa kichik qiymat qaytarar ekan.

•  

Termenning kelib chiqish statistikasiga asoslanib uning dokumentda axamiyatini xisoblash

• Xulosa qilib xozircha rangk qilish uchun boshlang’ich quyidagi formulani berishimiz mumkin ekan:

•  

Vektor modeli

• Avvalgi rejada biz hujjatda atamalarning nisbiy muhimligini namoyon qiluvchi vektor ko’rinishidagi hujjat tushunchasini ko’rib chiqdik. Umumiy vektor fazosida ko’pgina hujjatlarni vektor ko’rinishida tasavvur qilish vektor modeli (vector space model) deb ataladi va axborot izlashning ko’pgina masalalari uchun fundamental sanaladi. Avvalo, vektor fazosida hujjatlarni ranking qilishning asosiy g’oyalarini tahlil qilib chiqamiz.