В информационный поиск Introduction to Information Retrieval

Algoritm juda mashhur va takrorlangan edi, u ko'pincha turli ishlab chiquvchilar tomonidan o'zgartirildi va har doim ham muvaffaqiyatli emas. Taxminan 2000 yilda Porter loyihani "muzlatib qo'yish" va o'z veb-saytidan algoritmning yagona amalga oshirilishini (bir nechta mashhur dasturlash tillarida) tarqatishni davom ettirishga qaror qildi.

Stemming va lemmatizatsiya

Stemmer Porter

stemmerining asosiy g‘oyasi shundan iboratki, so‘z yasovchi qo‘shimchalar soni cheklangan.

Algoritm besh bosqichdan iborat. Har bir bosqichda so'z yasovchi qo'shimchasi kesiladi va qolgan qismi qoidalarga muvofiqligi tekshiriladi (masalan, ruscha so'zlar uchun o'zak kamida bitta unli tovushni o'z ichiga olishi kerak). Agar olingan so'z qoidalarga javob bersa, keyingi bosqichga o'tish sodir bo'ladi. Aks holda, algoritm kesish uchun boshqa qo'shimchani tanlaydi.

Birinchi bosqichda maksimal shakl yasovchi qo‘shimchasi, ikkinchisida – “i” harfi, uchinchisida – so‘z yasovchi qo‘shimchasi, to‘rtinchisida – ustun shakl qo‘shimchalari, “l” va bittasi kesiladi. ikkitadan " n".

Stemming va lemmatizatsiya

Ba'zi misol qoidalari quyidagicha ko'rinadi:

qoida Misol

SSES —> SS erkalaydi —> erkalaydi

IES —> I poniyalar —> poni

SS —> SS erkalash- > erkalash

S —> mushuklar -> mushuklar

yoki

ed " bilan tugasa, " ed " ni olib tashlang

ing " bilan tugasa, " ing " ni olib tashlang

ly " bilan tugasa, " ly " ni olib tashlang

Stemming va lemmatizatsiya

Ushbu algoritm ko'pincha so'zni kerak bo'lgandan ko'ra ko'proq qisqartiradi, bu esa so'zning to'g'ri o'zagini olishni qiyinlashtiradi, masalan, to'shak-> tom (bu holda, haqiqatan ham o'zgarmagan qism yotoqdir , lekin stemmer uchun eng uzun morfemani tanlaydi. o'chirish).

Shuningdek , Porterning stemmeri so'z ildizidagi har qanday o'zgarishlarga (masalan, chiqish va ravon unlilar) dosh berolmaydi.