Muhammad al-xorazmiy nomidagi toshkent axborot texnologiyalari universiteti jamolov narzullo fayzullo o`G`LI

kompyuter va axborot fanlari bo'yicha ilmiy maqola, ilmiy ish muallifi — Yeriskina E.V., Kurushin D.S., Yarullin D.V., Koryukin D.Yu.
Maqolada Pymystem morfologik analizatori uchun stemmer yaratish jarayoni tasvirlangan. Matnni lingvistik tahlil qilishning ustuvor yo‘nalishi sifatida morfologik tahlilni tanlashning nazariy asoslanishi berilgan. Asosiy analizatorlar ko'rib chiqilib, ularning afzalliklari va kamchiliklari ochib beriladi. Ichki tuzilmalarni tuzilgan sinf daraxtiga ajratishning asosiy algoritmi tasvirlangan. Python dasturlash tilida muntazam iboralar yordamida nutq qismlarining zaruriy xususiyatlarini izlash funktsiyasi berilgan. Kerakli ierarxiyani qurish algoritmining asosiy bosqichlari ko'rib chiqiladi va tavsiflanadi. Ish natijalari tahlil qilinib, zarur xulosalar chiqarildi. Taqdim etilgan rivojlanishning keyingi rivojlanish istiqbollari tavsiflanadi.
Baqoev I.I. — Oʻzbek tilidagi soʻzlarning asosli algoritmini ishlab chiqish. Tabiiy tillardagi tuzilmagan matnlarga avtomatik ishlov berish matnlarni kompyuterda tahlil qilish va sintez qilishning dolzarb muammolaridan biridir. Unda matnlarni normallashtirish vazifasini ajratib ko'rsatish mumkin, bu odatda tokenizatsiya, stemming va lemmatizatsiya kabi jarayonlarning bajarilishini o'z ichiga oladi. Mavjud sttemming algoritmlari asosan sintetik tillarga qaratilgan bo'lib, unda morfemaga asoslangan shakllanish ustunlik qiladi. O‘zbek tili agglyutinativ tilga misol bo‘lib, polisemantik affiksal va yordamchi morfemalar bilan ajralib turadi. O'zbek tilining, masalan, ingliz tilidan farqlari juda ko'p bo'lsa-da, shunga qaramay, uni asosiy algoritmlar yordamida muvaffaqiyatli qayta ishlash mumkin. Hozirgacha o‘zbek tili uchun sttemming algoritmlarini samarali amalga oshirish misollari amalda yo‘q, shuning uchun bu masala ilmiy qiziqish mavzusi bo‘lib, ushbu ishning maqsadini belgilab beradi. Ish jarayonida oʻzbek tilidagi berilgan matnlarni meʼyoriy shaklga keltirish vazifasi hal qilindi, ular leksemalashning dastlabki bosqichida soʻz turlari bilan belgilanib, toʻxtash soʻzlardan tozalandi. Bu muammoni hal qilish uchun oʻzbek tilidagi matnlarni oʻzak algoritmi asosida meʼyorlashtirish usuli ishlab chiqilgan. Algoritmni ishlab chiqishda algoritmik usul, lingvistik qoidalar leksikasi va o‘zbek tilidagi so‘zlarning normal shakllari bazasini birgalikda qo‘llash asosida gibrid yondashuv qo‘llanildi. Taklif etilayotgan algoritmning to'g'riligi tokenizatsiya algoritmining to'g'riligiga bog'liq. Shu bilan birga, bo'shliqlar bilan ajratilgan juftlashgan so'zlarning ildizlarini topish masalasi bu erda ko'rib chiqilmadi, chunki bu muammo to'g'ridan-to'g'ri tokenizatsiya bosqichida hal qilinadi. Algoritm turli xil avtomatlashtirilgan tizimlarga mashina tarjimasi, ma'lumot olish, ma'lumotlarni qidirish va hokazolar bilan birlashtirilishi mumkin.