Raqamli texnalogiyalar fakulteti dasturiy injenerig kafedrasi

OʻZBEKISTON RESPUBLIKASI OLIY VA OʻRTA MAXSUS TA’LIM
VAZIRLIGI
SAMARQAND DAVLAT UNIVERSITETI
RAQAMLI TEXNALOGIYALAR FAKULTETI
DASTURIY INJENERIG KAFEDRASI
“SUN’IY INTELLEKT MASALALARI UCHUN DASTURLASH ” FANIDAN





MAVZU: Pythonda tabiiy tillarga ishlov berish kutubxonalari bilan ishlash


Bajaruvchi: 102-guruh talabasi
Bajardi: Mixliyev Ramazon.


Ilmiy rahbar: Meliyev. F.

Samarqand-2021-2022
MUNDARIJA:
Kirish…………………………………………………………………………….

I.BOB Natural Language Toolkit (NLTK)…………………………………..

1.1. Tabiiy tilni qayta ishlash NLP……………………………...……….
1.2. NLTK - bu Python-da tasniflash……………………………………
1.3.Tabiiy tillarni qayta ishlash uchun Python kutubxonalari……………

II BOB NLP uchun Python-dan foydalaning…………………………………

2.1. Python da tabiiy tilni sanoatda ishlash uchun manba butibxonasi……………………………………………………………………… 2.2. NLTK - Nomlangan ob'ektlarni aniqlash………………………

2.3. Gensim-bu Python-da yozilgan mavzularni modellashtirish , o'xshashlikni qidirish va tabiiy tilni qayta ishlash uchun kutubxona …………………………..
Xulosa……………………………………………………………………………
Foydalanilgan adabiyotlar ro’yxati………………………………………………

Kirish
Insoniyat o'zining rivojlanishi tarixi haqida moddiy quvvat va axborotlarni o'zlashtirib kelgan. Bu qilish butun bir davrlari shu bosqichning ilg' yoki texnologiya nomi bilan atalgan. Masalan:"tosh asr” – mexnat quroli yasash uchun toshga berish texnologiyasini egallash bochqichi, “kitob chop etish asri”-axborotni tarqatishni yangi usulini o'zlashtirish bosqichi, “elektr asri” - quvvatning yangi turlarini o'zlashtirish bosqichi shular jumlasidandir. Bundan 20 - 30 yillar oldin “atom asri” bosher deyilgan bo'lsa, xozirgi kunda “EXM asri” deb aytiladi. Biz yangi “Informatika” faning o'rgana boshlaymiz.

“Informatika fanining kelib chiqishi, uning uch qismi algoritm, dastur va xisoblash vositalarini paydo bo'lishi va hodisalar bilan bog'liq. Kishilik jamiyatida xisoblash ishlari (podadagi molar o'g'lim men, ov natijasi, er o'lchash va h k.) davriyok qo'shish, ayirishkabi arifmetik amallardan, asosiy ko'tarish va bo'lishdan olib boruvchilar. Bu amallar usha davrga ta’luqli bo'lgan algoritmlar asosida bajarilgan.
Xisoblash ishlari uchun zarur bo'lgan axborot xajmini yana, qo'lning barmoqlaridan farqli o'laroq yangi tur xisoblash ishlarni yaratilishiga sabab bo'ladi. X1X asroxiri, XX asrboshlarida muxlislarning yangi yo'nalishlari va yangi fanlar paydo bo'lishi mahalliy berish uchun zurur bo'lgan axborot xajmini keskin oshib shunga olib keladi. XX asr o'rtalarida haqida axborotlarni avtomatik mahalliy qurilmasi-elektron xisoblash mashinalari (EXM)lar kata xajmdagi axborotlarni ushlab turish va katta tezlikda soat berishni tug'diradi. Buning haqidaesa murakkabilmiy - texnik masalalrni (atom energiya, kosmosni o'zlashtirish, ob - xavoni bashorati, ishlab chiqarish chiqarishni avtomatlashtirilgan boshqarish, avtomatlashtirishloyixalashvaxk.) echish ularning taxlil qilish mumkin bo'lib koldi. Demak qo'yilgan masalanito'g'ri echib olish uchun zarur bilim va maxorat (algoritm va usul), EXM tushinadigan dastur va EXM ning o’zi bir butuning uch qismi, biz o'rganishimiz kerak fannining tarkibdir.
Informatika boltaborotlarni EXM yordam tasvirlash, saqlabturish, amalga oshirishva hisoblanadi ishlov berish usullarini o'rganadigan fandir.
XXI asr boshlarida ana shu axborotlardan yuborishni bilmagan kishi, XX asr davom etish va mahsulotni bilmagan odamga o'xshab qoladi. Bundan kelib chiqqan xolda “Informatika” fanini o'rganish ikkinchi savodxonlik bilan tengdir. Davom etish vamahsulotni bilmaganodamga o'xshab qoladi. Bundan kelib chiqqan xolda “Informatika” fanini o'rganish ikkinchi savodxonlik bilan tengdir.
Tabiiy tilni qayta ishlash (NLP) - bu ma'lumotlar fani va sun'iy intellekt (AI) yaqinlashuvida joylashgan soha bo'lib, u asoslarga qisqartirilganda - bu mashinalarga inson lahzalarini tushunish va matndan ma'no chiqarishni o'rgatish bilan bog'liq. Shu sababli sun'iy intellekt NLP loyihalari uchun muntazam ravishda zarurdir.
Buning sababi nimada, nega ko'p kompaniyalar NLP haqida qayg'uradilar. Asosan, ushbu yutuqlar ularga keng qamrovli bilim va kelishuvlarni taqdim etishi mumkinligi sababli, xaridorlar buyum bilan hamkorlik qilishda duch kelishi mumkin bo'lgan til bilan bog'liq muammolarni hal qiladi.
Shunday qilib, ushbu maqolada biz haqiqiy loyihalarni yaratish uchun foydali o'lishi mumkin bo'lgan 8 ta tabiiy tilni qayta ishlash (NLP) kutubxonalari va vositalarini ko'rib chiqamiz. Shunday ekan, boshlaylik!