Oʻzbekiston respublikasi oliy va oʻrta maxsus ta’lim vazirligi

Tabiiy Tillarni Qayta Ishlash Uchun Python Kutubxonalari
“Python boshidan beri Google’ning muhim qismi boʻlib kelgan va tizim oʻsishi va rivojlanishi bilan shunday boʻlib qoladi. Bugungi kunda oʻnlab Google muhandislari
Python’dan foydalanishadi va biz bu tilda malakali koʻproq odamlarni
qidirmoqdamiz”.
- Piter Norvig , Google, Inc qidiruv sifati direktori.
Python hozirda dunyodagi eng issiq dasturlash tillaridan biri hisoblanadi, chunki u boshqa dasturlash tillari bilan qanchalik yaxshi integratsiyalashgani va tanlangan
dasturlash tili sifatida ko'pchilik yangi loyiha g'oyalariga mukammal darajada mos keladi.
Python, shuningdek, Sun'iy intellekt hamjamiyatida juda yaxshi maqtovga sazovor bo'lgan va e'tirof etilgan til bo'lib, bu uni AIning Soft Computing , Machine
Learning , Natural Language Processing va boshqa o'nlab sohalar kabi bir nechta sohalarida ishlash uchun dasturlash tiliga aylantiradi .
Kelajakda sunʼi y intell ekt va aqlli yechimlarni oʻz ichiga olgan holda, nafaqat
buyruqlarimizni tushunibgina qolmay, balki biz bilan tabiiy ravishda muloqot
qiladigan tizimlarni ishlab chiqishga boʻlgan ehtiyoj tobora ortib bormoqda.
NLP nima?
Har qanday til so'zlarsiz va bu so'zlarni boshqarish uchun mas'ul bo'lgan grammatikasiz to'liq emas. Inson suhbati bir-biri bilan muloqot qilish uchun so'z va belgilarni talab qilganidek, kompyuterlar bilan o'zaro aloqa ham xuddi shunday
amalga oshiriladi.
Variantlarni bosish va bosish orqali kompyuter bilan o'zaro ta'sir qilishning an'anaviy usuli asta-sekin suhbatlarni o'z ichiga olgan yanada muammosiz yondashuv bilan bekor qilinmoqda. Ushbu zamonaviy aloqa usuli kompyuter bilan tabiiyroq tarzda gaplashishni o'z ichiga oladi, chunki biz boshqa odamlar bilan so'zlardan
foydalanishga moyilmiz.
Sun'iy intellektning bir tarmog'i bo'lgan tabiiy tilni qayta ishlash odamlarning kompyuterlar bilan qanday qilib intuitivroq munosabatda bo'lishlari haqidagi fanni belgilaydi.
Bunday domenning maqsadi kompyuterlarni odatiy va oqilona belgilangan ko'rsatmalar to'plamidan tashqari, odamlarning umumiy tildan qanday tushunishini va ma'nosini yaratishni aniqlashdir.
AIning bir qismi bo'lgan NLP asosan Machine Learning-ga tayanadi va NLP jarayoni quyidagicha davom etadi:

• Matn kiritish yoki ovozli kiritish oralig‘idagi odam kiritishini yozib olish
• Ovozli ma'lumotlarni matnga aylantirish
• Ma'lumotlarning ma'nosini aniqlash uchun grammatika, tahlil qilish texnikasi,

semantika va shunga o'xshash usullardan foydalangan holda matnni qayta ishlash.

• Qayta ishlangan mahsulotni ekranda ko'rsatish yoki audio orqali o'ynatish orqali

insonga uzatish
Tabiiy tilni qayta ishlash uchun Python kutubxonalari
Tabiiy tilni qayta ishlash aqlli tizimlarni yaratishning ko'plab muhim jihatlaridan biri
hisoblanadi. Haqiqiy dunyodan to'plangan ma'lumotlar bilan yechimingizni o'rgatish orqali siz uni tezroq va foydalanuvchilar uchun ko'proq moslashtirib, mijozlar bazangiz haqida muhim ma'lumotga ega bo'lishingiz mumkin.

Ushbu maqolada biz Python sizning loyihangizga tabiiy tilni qayta ishlash kuchidan foydalanish uchun eng foydali va kuchli kutubxonalarni qanday taklif qilishini va ular aynan qayerga mos kelishini ko'rib chiqamiz.

• Bo'shliq

NLTK — eng ko'p tilga olingan NLP kutubxonasi

Spacy ( manba )
Python-da tabiiy tilni sanoatda qayta ishlash uchun ochiq manba kutubxonasi.
Ko'pincha ilg'or tabiiy tillarni qayta ishlash uchun professional darajadagi Python kutubxonasi sifatida tan olingan spaCy juda katta hajmdagi ma'lumotlarni olish vazifalari bilan ishlashda ustunlik qiladi.
Python va Cython yordamida yaratilgan spaCy ikkala tilning eng yaxshisini, Python’dan qulaylik va Cython’dan tezlikni o‘zida mujassam etgan holda NLP’ning
eng yaxshi tajribalaridan birini taqdim etadi. spaCy - bu oddiy ishlarga sarflangan
vaqtni kamaytirish orqali ishlarni bajarish kutubxona. SpaCy-dan asosiy xulosalar:

• Nutq qismini teglash
• Tokenizatsiya
• Tobelikni tahlil qilish
• Gaplarni bo‘laklarga bo‘lish
• Shaxs va jumlani tanib olish
• Deep Learning bilan uzluksiz integratsiya
• Matnni tozalash va normallashtirish usullari

Resurslar -

uchun mo'ljallangan bepul

spaCy Documentation — Rasmiy hujjatlar
qoʻllanmasi.
va tezkor
ishga
tushirish

SpaCy bilan NLP ga kirish - spaCy funksiyalarini ko'rsatadigan qisqa qo'llanma.
spaCy 101: Siz bilishingiz kerak bo'lgan hamma narsa · spaCy foydalanish hujjatlari Eng muhim tushunchalar, oddiy so'zlar bilan tushuntirilgan. Siz spaCy uchun yangimisiz yoki shunchaki ba'zi narsalarni yangilashni xohlaysizmi ...
spacy.io

• CoreNLP

Stenford CoreNLP - bu sizning loyihangizga tabiiy tilni qayta ishlashni amalga oshirish uchun yaratilgan vositalar to'plami. Dastlab Java tilida yozilgan CoreNLP Python, JavaScript va boshqalarkabi boshqa tillar bilan ishlaydi
U his-tuyg'ularni ko'rsatish, ob'ektlar o'rtasidagi munosabatlarni aniqlash, jumla
tuzilmalarini belgilash, so'zlarning asosiy shaklini ta'minlash va boshqalar kabi bir qancha lingvistik xususiyatlarni taklif etadi.
Qiziqarli so'zlar bilan aytganda, bu xususiyatlar lemmatizatsiya, nutqning bir qismi va morfologik teglash, nomli ob'ektlarni aniqlash, tokenizatsiya va jumlalarni
ko'proq ergashtirishga tarjima qilinadi.
Agar siz muntazam ravishda yangilanib turuvchi va yuqori sifatli tahlillarni taklif qiluvchi turli xil grammatik tahlil vositalariga ega zamonaviy va mustahkam NLP asboblar to‘plamini izlayotgan bo‘lsangiz, bu mukammal tanlovdir.
CoreNLP-ning moslashuvchan tabiati uni boshqa tillar bilan yaxshi integratsiya
qilish imkonini beradi, bu sizning ehtiyojlaringiz uchun uni silliq kengaytiriladigan va funktsional NLP variantiga aylantiradi.
Resurslar -


CoreNLP Documentation - Rasmiy hujjatlar va resurs kompilyatsiyasi.
C o reNLP u chun Python oʻraml ari roʻyxati — Stenford NLP tomonidan yangilangan.


• NLTK — eng ko'p tilga olingan NLP kutubxonasi

Natural Language ToolKit soʻzining qisqartmasi, NLTK Python uchun tabiiy tilni
qayta ishlash boʻyicha yetakchi va eng yaxshi kutubxonalardan biridir. U WordNet,

Web Text Corpus, NPS Chat, SemCor, FrameNet va boshqalar kabi 100 dan ortiq korpus va tegishli leksik resurslarga ega.
NLTK ning maqsadi NLP kutubxonalari uchun tasniflash, stemming, tagging, ajralish, tasniflash semantik mulohazalar va o'rash kabi xususiyatlarni taklif qilish
orqali hisoblash tilshunosligini o'rganish va ishlashni osonlashtirishdir .
Bu bepul va ochiq manbali kutubxona boʻlib, u Windows, Mac OS va Linux tizimlarida mavjud boʻlib, NLP dunyosiga kirishingizni osonlashtiradigan koʻplab qoʻllanmalar mavjud.
NLTK bilan nima qilishingiz mumkin -
NLTK — eng ko'p tilga olingan NLP kutubxonasi
NLTK - ba'zi matnlarni belgilang va belgilang ( manba ) NLTK — eng ko'p tilga olingan NLP kutubxonasi
NLTK - Nomlangan ob'ektlarni aniqlash ( manba ) Resurslar -

NLTK kitobi - NLTK bilan Pythonda tabiiy tilni qayta ishlash bo'yicha to'liq kurs.
NLTK -ga sho'ng'in - matnni qayta ishlash uchun NLTK-dan foydalanish bo'yicha 8 qismdan iborat batafsil qo'llanma.


• Gensim