В информационный поиск Introduction to Information Retrieval

so'ng , matn leksemalarga bo'linadi.

Token ( token ) - qayta ishlash uchun semantik birlikka birlashtirilgan ma'lum bir hujjatdagi belgilar ketma-ketligining namunasidir .

Tur ( tur ) - bir xil belgilar ketma-ketligidan tashkil topgan barcha tokenlar sinfi.

Termin ( termin ) axborot-qidiruv tizimining lug'at tarkibiga kiritilgan tur .

Terminlar leksikasining ta’rifi

Matnni tokenlarga bo'lish bilan bog'liq asosiy savol quyidagicha ko'rinadi:

" Qanday qilib matnni tokenlarga to'g'ri ajratish mumkin ?"

Eng oson yo'li - matnni bo'shliqlarga bo'lish va tinish belgilarini olib tashlash .

Ammo bu faqat boshlang'ich nuqta. Leksemalarga bo‘linish jarayoni faqat undan boshlanadi.

Har bir yozuvning o'ziga xos yondashuvi bor.

Xitoy yozuvida bo'sh joy bo'lmasa-chi!?

Terminlar leksikasining ta’rifi

Tinish belgilari murakkab (qo‘shma) so‘zlarda mavjud.

Bu va shunga o'xshash omillar jarayonni amalga oshirishni murakkablashtiradi.

Misol. Agar arent so‘zida yuqoridagi usul qo‘llanilsa , ikkita ma’nosiz aren va t leksemasini olamiz .

Terminlar leksikasining ta’rifi

Ko'pgina tillarda va muayyan mavzularda atamalar sifatida tan olinishi kerak bo'lgan noodatiy o'ziga xos leksemalar mavjud: C++ va C# dasturlash tillari, B-52 kabi samolyot nomlari .

yagona token sifatida tan olinishi kerak bo'lgan belgilar ketma-ketligining yangi turlarini, xususan, elektron pochta manzillarini ([e-mail]), veb-manzillarni (URL) ( http://stuff.big.com/ ) keltirib chiqardi. new/ specials.html), raqamli IP manzillar ( 142.32.48.231) va boshqalar.

Terminlar leksikasining ta’rifi

So'zlarga segmentatsiya qilish usullari juda xilma-xildir: katta leksikadan foydalanishdan (qidiruv leksikonda taqdim etilgan eng uzun ketma-ketlik uchun amalga oshiriladi, notanish so'zlar uchun evristika qo'shimcha ravishda qo'llaniladi) mashinani o'rganish usullaridan foydalanishgacha.