Intellekt Tushunchasi. Lingvistik. Matnni Tasniflash

Lingvistik - bu til haqidagi fan bo'lib, u tovushni anglatuvchi fonologiyani o'z ichiga oladi.

Morfologik so’z shakllanishi, sintaksis jumlalar tuzilishi, semantika sintaksisi va pragmatika

tushunishni anglatadi. Nox Xomskiy, XII asrning birinchi sintaktik nazariyalarini boshlagan birinchi tilshunoslardan biri.U inqilob qilgani uchun nazariy tilshunoslik sohasida o'ziga xos mavqega ega sintaksis maydoni (Chomsky, 1965) [1]. Ularni keng ikki darajaga ajratish mumkin

Tabiiy darajaga mos keladigan nutqni aniqlash va quyi darajani o'z ichiga olgan daraja

tili. NLP tomonidan o'rganilgan vazifalarning bir nechtasi: Avtomatik xulosa, qo'shimcha ma'lumot Ruxsat, Diskurs tahlili, Mashina tarjimasi, Morfologik segmentatsiya, nomlangan

Shaxsni tanib olish, belgilarni optik ravishda aniqlash, nutqni belgilash qismlari va boshqalar. Ba'zilar ushbu vazifalar to'g'ridan-to'g'ri haqiqiy dunyoviy dasturlarga ega, masalan, Machine translation, Namunaviy shaxs tanib olish, belgilarni optik aniqlash va boshqalar. Avtomatik umumlashtirish a matn to'plamining tushunarli xulosasi va qisqacha mazmuni yoki qisqacha ma'lumotini beradi ma'lum turdagi matn. Qo`shimcha rezolyutsiya bu jumlaga yoki matnning katta hajmiga tegishli qaysi so'z bir xil ob'ektga tegishli ekanligini aniqlaydi. Diskursli tahlil qilish vazifasi bilan bog'liq ulangan matnning diskurs tuzilishini aniqlash. Mashina tarjimasi matnni bir odam tilidan boshqasiga avtomatik tarjima qilish. Morfologik Alohida so'zni alohida morfemalarga ajratish va sinfni aniqlashni anglatuvchi segmentatsiya morfemalarning. Tanlangan nomni tanib olish (NER) bu matn oqimini tavsiflaydi, aniqlang matndagi qaysi narsalar tegishli ismlarga tegishli. Belgilarni optik aniqlash (OCR) beradi mos keladigan yoki bog'liqlikni aniqlashga yordam beradigan bosma matnni aks ettiruvchi rasm matn. Nutq yorlig'ining bir qismi jumlani tavsiflaydi, ularning har biri uchun nutqning qismini belgilaydi so'z. Garchi NLP vazifalari aniq yaqindan bog'liq bo'lsa-da, lekin ular ishlatiladi tez-tez, qulaylik uchun. Avtomatik umumlashtirish, qo'shimcha ma'lumotnoma kabi ba'zi vazifalar tahlil qilish va boshqalar katta vazifalarni hal qilishda foydalaniladigan pastki qism sifatida ishlaydi. Tabiiy tillarni qayta ishlash maqsadi - bu bir yoki bir nechta mutaxassislikni tanlash algoritm yoki tizim. Algoritmik tizimda NLP baholash metrikasi bunga imkon beradi til tushunchasi va til avlodini birlashtirish. U hatto ichida ishlatiladi ko'p tilli hodisalarni aniqlash Rospocher va boshqalar. [2] ingliz, golland va italyan tilidagi matnlar uchun turli xil quvurlarni ishlatib, hodisalarni translyatsiya qilish uchun yangi modulli tizim yaratishni maqsad qildi. turli tillarda. Tizim eng ko'p tilli tabiiylarning modulli to'plamini o'z ichiga oladi

Tilni qayta ishlash (NLP) vositalari. Quvur liniyasi asosiy NLP ishlov berish uchun modullarni birlashtiradi shuningdek, o'zaro bog'liq lingvalli nomlangan ob'ektni bog'lovchi, semantik rol kabi yanada rivojlangan vazifalar yorliqlash va vaqtni normallashtirish. Shunday qilib, xilma-xil tillararo ramka quyidagilarga imkon beradi voqealarni, ishtirokchilarni, joylarni va vaqtni, shuningdek, o'zaro munosabatlarni talqin qilish ular. Ushbu individual quvurlarning chiqishi ushbu tizim uchun kirish sifatida ishlatilishi mo'ljallangan hodisalarni markazlashtirilgan bilimlar jadvalini olish. Barcha modullar UNIX quvurlari kabi ishlaydi: ularning barchasi olinadi standart kirish, bir oz izoh berish va standart chiqish, bu o'z navbatida kirish keyingi modul uchun quvurlar modullar bo'lishi mumkin bo'lgan ma'lumotlarga asoslangan arxitektura sifatida qurilgan moslashtirildi va almashtirildi. Bundan tashqari, modulli arxitektura turli xil konfiguratsiyalarga imkon beradiva dinamik tarqatish uchun.