Raqamli texnalogiyalar fakulteti dasturiy injenerig kafedrasi



Download 0,72 Mb.
bet3/11
Sana01.03.2022
Hajmi0,72 Mb.
#476903
1   2   3   4   5   6   7   8   9   10   11
Bog'liq
Tabiiy tilni qayta ishlashni boshlash

NLP kutubxonasi nima?


Ilgari faqat mutaxassislar matematika, mashinani o'rganish va tilshunoslik bo'yicha yuqori bilimlarni talab qiladigan tabiiy tillarni qayta ishlash loyihalarining bir qismi bo'lishi mumkin edi. Endi ishlab chiquvchilar matnni oldindan qayta ishlashni soddalashtiradigan tayyor vositalardan foydalanishlari mumkin, shunda ular diqqatlarini mashinani o'rganish modellarini yaratishga qaratishlari mumkin.
NLP muammolarini hal qilish uchun yaratilgan ko'plab vositalar va kutubxonalar mavjud. Yillar davomida mijozlarimizga sifatli loyihalarni yetkazib berishga yordam bergan 8 ta ajoyib Python Natural Language Processing kutubxonalari haqida koʻproq maʼlumot olish uchun oʻqing.

Nima uchun tabiiy tilni qayta ishlash (NLP) uchun Python dan foydalanish kerak?


Python haqida juda ko'p narsa bor, bu uni NLP loyihasi uchun juda yaxshi dasturlash tilini tanlash imkonini beradi. Ushbu tilning oddiy sintaksisi va shaffof semantikasi uni Tabiiy tilni qayta ishlash vazifalarini o'z ichiga olgan loyihalar uchun ajoyib tanlov qiladi. Bundan tashqari, ishlab chiquvchilar mashinani o'rganish kabi texnikalar uchun qulay bo'lgan boshqa tillar va vositalar bilan integratsiya uchun ajoyib yordamdan bahramand bo'lishlari mumkin.
Ammo bu ko'p qirrali tilda yana bir narsa borki, bu mashinalarga tabiiy tillarni qayta ishlashga yordam beradigan ajoyib texnologiyadir. U ishlab chiquvchilarga NLP vositalari va kutubxonalarining keng to'plamini taqdim etadi, bu esa ishlab chiquvchilarga hujjatlar tasnifi, mavzularni modellashtirish, nutq qismini (POS) teglash, so'z vektorlari va hissiyotlarni tahlil qilish kabi ko'plab NLP bilan bog'liq vazifalarni bajarishga imkon beradi.

1. Natural Language Toolkit (NLTK)


Havola:https://www.nltk.org/
NLTK - bu Python-da tasniflash, stemming, teglash, tahlil qilish, semantik fikrlash va tokenizatsiya kabi vazifalarni qo'llab-quvvatlaydigan muhim kutubxona. Bu asosan tabiiy tilni qayta ishlash va mashinani o'rganish uchun sizning asosiy vositangizdir. Bugungi kunda u ushbu sohada (va mashinani o'rganishda) oyoq barmoqlarini botirayotgan Python dasturchilari uchun ta'lim asosi bo'lib xizmat qiladi.
Kutubxona Pensilvaniya universitetida Stiven Bird va Edvard Loper tomonidan ishlab chiqilgan va NLP tadqiqotida muhim ro'l o'ynagan. Dunyo bo'ylab ko'plab universitetlar o'z kurslarida NLTK, Python kutubxonalari va boshqa vositalardan foydalanadilar.
Ushbu kutubxona juda ko'p qirrali, ammo tan olishimiz kerakki, Python bilan tabiiy tilni qayta ishlash uchun undan foydalanish juda qiyin. NLTK juda sekin bo'lishi mumkin va ishlab chiqarishni tez sur'atda ishlatish talablariga javob bermaydi. O'rganish egri chizig'i keskin, ammo ishlab chiquvchilar kabi resurslardan foydalanishlari mumkin bu foydali kitob ushbu asboblar to'plami qo'llab-quvvatlaydigan tilni qayta ishlash vazifalari ortidagi tushunchalar haqida ko'proq ma'lumot olish uchun.

2. TextBlob


Havola:https://textblob.readthedocs.io/en/dev/
TextBlob Python-da NLP bilan sayohatni boshlayotgan va NLTK bilan birinchi uchrashuvidan unumli foydalanmoqchi bo'lgan ishlab chiquvchilar uchun majburiydir. U asosan yangi boshlanuvchilarga his-tuyg'ularni tahlil qilish, post-tagging yoki ot iboralarini chiqarish kabi asosiy NLP vazifalarini o'rganishga yordam beradigan oson interfeys bilan ta'minlaydi.
Python yordamida NLPga birinchi qadamlarini qo'ymoqchi bo'lgan har bir kishi ushbu kutubxonadan foydalanishi kerak deb hisoblaymiz. Bu prototiplarni loyihalashda juda foydali. Biroq, u NLTK ning asosiy kamchiliklarini ham meros qilib oldi - NLP Python ishlab chiqarishdan foydalanish talablariga duch kelgan ishlab chiquvchilarga yordam berish juda sekin.

3. CoreNLP


Havola:https://stanfordnlp.github.io/CoreNLP/
Ushbu kutubxona Stenford universitetida ishlab chiqilgan va u Java tilida yozilgan. Shunga qaramay, u ko'plab turli tillar, jumladan Python uchun o'ramlar bilan jihozlangan. Shuning uchun bu Python-da tabiiy tilni qayta ishlashda qo'llarini sinab ko'rishga qiziqqan dasturchilar uchun foydali bo'lishi mumkin. CoreNLP ning eng katta afzalligi nimada. Kutubxona haqiqatan ham tez va mahsulotni ishlab chiqish muhitida yaxshi ishlaydi. Bundan tashqari, CoreNLP komponentlarining ba'zilari NLTK bilan birlashtirilishi mumkin, bu esa ikkinchisining samaradorligini oshirishi kerak.

4. Gensim NLP uchun Python-dan foydalaning


Havola:https://github.com/RaRe-Technologies/gensim
Gensim Python kutubxonasi boʻlib, u vektor fazosini modellashtirish va mavzuni modellashtirish vositalari toʻplami orqali ikki hujjat oʻrtasidagi semantik oʻxshashlikni aniqlashga ixtisoslashgan. U samarali ma'lumotlarni uzatish va qo'shimcha algoritmlar yordamida katta matn korpusini boshqarishi mumkin, bu faqat ommaviy va xotirada qayta ishlashga mo'ljallangan boshqa paketlar haqida aytishimiz mumkin bo'lgan narsadan ko'proq. Bizga yoqadigan narsa bu xotiradan foydalanishni ajoyib optimallashtirish va qayta ishlash tezligi. Bularga boshqa Python kutubxonasi NumPy yordamida erishildi. Asbobning vektor fazosini modellashtirish imkoniyatlari ham yuqori darajada.

5. spaCy


Havola:https://spacy.io/
spaCy nisbatan yosh kutubxona bo'lib, ishlab chiqarish uchun mo'ljallangan. Shuning uchun u NLTK kabi boshqa Python NLP kutubxonalariga qaraganda ancha qulayroq. spaCy bugungi kunda bozorda mavjud bo'lgan eng tezkor sintaktik tahlilni taklif qiladi. Bundan tashqari, asboblar to'plami Cython-da yozilganligi sababli, u juda tez va samarali.
Biroq, hech qanday vosita mukammal emas. Biz hozirgacha qamrab olgan kutubxonalar bilan solishtirganda, spaCy eng kam sonli tillarni (etti) qo'llab-quvvatlaydi. Biroq, mashinani o'rganish, NLP va spaCy-ning asosiy kutubxona sifatida tobora ommalashib borayotgani ushbu vosita tez orada ko'proq dasturlash tillarini qo'llab-quvvatlashni boshlashini anglatadi.

Download 0,72 Mb.

Do'stlaringiz bilan baham:
1   2   3   4   5   6   7   8   9   10   11




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish