Intellekt Tushunchasi. Lingvistik. Matnni Tasniflash

Matnning xususiyatlarini tahlil qilish

Yaxshi kitob yoki veb-sayt so'zlardan ko'ra ko'proq narsani o'z ichiga oladi. Yaxshi ishlab chiqilgan darslik turli xillardan foydalanadi asosiy g'oyalarni tartibga solish, asosiy tushunchalarni tasvirlash, muhimligini ajratib ko'rsatish uchun grafik va matn xususiyatlari

tafsilotlar va qo'llab-quvvatlanadigan ma'lumotlarga ishora qiling. Agar xususiyatlar oldindan aytib bo'ladigan shaklda takrorlansa, ular yordam beradi o'quvchi ma'lumot topish va ulanish uchun. Ushbu xususiyatlardan qanday foydalanishni tushunadigan o'quvchilar matnni ochish uchun kamroq vaqt sarflang va tarkibga diqqatni jamlash uchun ko'proq energiya sarflang. Ushbu strategiyada talabalar darslikni tekshirish va tahlil qilish va qanday qilib aniqlash uchun oldindan ko'rishdan tashqari xususiyatlari ularga ma'lumot topish va o'rganish uchun foydalanishga yordam beradi. Xuddi shu strategiyadan foydalanishingiz mumkin matnning boshqa turlarini - jurnallarda, elektron jurnallarda, gazetalarda, elektron o'quv modullarida va boshqalarda qayta qurish.

Maqsad

• Talabalarni darsda foydalanadigan matnlarning asosiy xususiyatlari bilan tanishtiring

ular ma'lumotni yanada samarali topishlari va undan foydalanishlari mumkin.

• Uzunroq matnlarda naqshlarni aniqlang.

• Matnlarning asosiy xususiyatlarini tavsiflovchi shablon yarating va uni sinfga joylashtiring

talabalar unga murojaat qilishlari mumkin.

Talabalar:

• matnlarda ma'lumotni samarali joylashtirish strategiyasini ishlab chiqish.

• ular foydalanadigan matnlarning asosiy xususiyatlari bilan tanishish.

• Matn xususiyatlariga sarlavha, sarlavha, tarkib jadvali, indeks, lug'at, sarlavha,

paragraflar bo'sh joy bilan ajratilgan, varaqlangan ro'yxatlar, yon panellar, izohlar, rasmlar, rasmlar, diagrammalar, jadvallar, grafikalar, taglavhalar, kursivlangan yoki qalin harflar bilan so'zlar yoki parchalar, ranglar va belgilar.

Kontent sohalarida o'qishni o'rgatish: agar men bo'lmasam, unda kim?, P.16-18.

* Shuningdek, o'quvchilarga matn xususiyatlarini ko'rish uchun yana bir imkoniyat berish uchun

• Talabalarga ma'lum bir matnni o'qiyotganda ularga rahbarlik qilishlari uchun oldindan tashkil etuvchini taqdim eting. Bu tashkilotchisi talabalardan matnning o'ziga xos xususiyatlarini oldindan ko'rishni so'rab murojaat qiladigan qator bo'lishi mumkin va matnning asosiy tanasi bilan qanday bog'liqligiga e'tibor bering.

• Talabalarga SQ4R strategiyasini o'rgatish (So'rov, Savol, O'qish, O'qish, Qayta ko'rib chiqish, Ko'zgu). Uchun masalan, sarlavhalarni, sarlavhalarni, sarlavhalarni, xaritalarni, rasmlarni, yon panellarni, qalin yoki kursiv bosib chiqarishni ko'rib chiqing,

va hokazo. Sarlavha, sarlavha va sarlavhalarni savollarga aylantiring. Savollarga javob berish uchun parchani o'qing. Olingan fikrlarni umumlashtirish uchun ularning savollariga javoblarni aytib bering. O'tish joyini ko'rib chiqing asosiy g'oya va muhim ma'lumotlar va tafsilotlarni eslab qoling. O'tilgan joy haqida o'ylab ko'ring va matnni tushunganliklarini tekshirish va qo'shimcha savollar tug'dirish uchun jarayon. Talabalarga yordam berish uchun kompyuter dasturlari va Internet veb-saytlarining xususiyatlaridan qanday foydalanish bo'yicha namuna ular dasturni yoki saytni (masalan, URL manzillari, qalqib chiquvchi menyular, matn qutilari, tugmalar, belgilar, strelkalar, havolalar, rang, navigatsiya paneli, bosh sahifa, xatcho'plar, grafikalar, qisqartmalar, logotiplar). Tabiiy tilni qayta ishlash tarixi (NLP) 1950 yillarda boshlangan, ammo ishlarni avvalgi davrlardan topish mumkin. 1950 yilda Alan Turing "Hisoblash mashinalari va razvedka" nomli maqola chop etdi, unda Tyuring testi deb ataladigan narsani razvedka mezoni sifatida taklif qildi [aniqlashtirish kerak]. Jorjtaun tajribasi 1954 yilda rus tilidagi oltmishdan ortiq jumlalarni ingliz tiliga to'liq avtomatik tarjima qilishni o'z ichiga olgan. Mualliflarning ta'kidlashicha, uch yoki besh yil ichida mashinani tarjima qilish muammoni hal qiladi. Biroq, haqiqiy taraqqiyot ancha sekin edi va 1966 yilda ALPAC hisobotidan so'ng, o'n yillik tadqiqotlar kutilgan natijalarni bajara olmadi, mashinani tarjima qilish uchun mablag 'keskin kamaydi. Mashina tarjimasi bo'yicha keyingi izlanishlar 1980-yillarning oxiriga kelib, mashinalarni tarjima qilishning birinchi statistik tizimlari yaratilgunga qadar olib borildi.

1960 yillarda ishlab chiqilgan ba'zi bir muvaffaqiyatli tabiiy tillarni qayta ishlash tizimlari SHRDLU, cheklangan so'z birikmalariga ega cheklangan "blok dunyolar" da ishlaydigan tabiiy til tizimi va 1964 va 1966 yillar orasida Jozef Veyzenbaum tomonidan yozilgan Rogerian psixoterapevtining simulyatsiyasi bo'lgan ELIZA. inson o'ylari yoki hissiyotlari haqida hech qanday ma'lumot yo'q, ELIZA ba'zan hayratlanarli darajada insonga o'xshash o'zaro ta'sirni ta'minladi. "Bemor" juda kichik ma'lumot bazasidan oshib ketganda, ELIZA umumiy javobni berishi mumkin, masalan, "Boshim og'riyapti" degan javob bilan "Nega boshingiz og'riyapti?"

70-yillar davomida ko'plab dasturchilar real dunyodagi ma'lumotlarni kompyuter tushunadigan ma'lumotlarga tuzgan "kontseptual ontologiyalar" ni yozishni boshladilar. Misollar: MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), QUALM (Lehnert, 1977), Politics (Carbonell, 1979) va fitna birliklari (Lehnert 1981) ). Bu vaqt ichida ko'plab chatterbotlar yozilgan, ular orasida PARRY, Racter va Jabberwacky ham bor.

80-yillarga qadar tabiiy tillarni qayta ishlash tizimlarining aksariyati qo'lda yozilgan qoidalarning murakkab to'plamlariga asoslangan edi. 1980-yillarning oxiridan boshlab, tilni qayta ishlash uchun mashinalarni o'rganish algoritmlarini kiritish bilan tabiiy tillarni qayta ishlashda inqilob yuz berdi. Bunga hisoblash kuchining barqaror o'sishi (Mur qonuniga qarang) va Chomskyan tilshunoslik nazariyalarining (masalan, transformatsion grammatikaning) ustunligi asta-sekin pasayishi bilan bog'liq edi, ularning nazariy asoslari mashinasozlik yondoshuvining asosini tashkil etuvchi korpus tilshunosligini yo'qqa chiqardi. tilni qayta ishlashga. [3] Qaror daraxtlari kabi eng qadimgi ishlatilgan mashina o'rganish algoritmlarining ba'zilari, agar mavjud bo'lsa, u holda qo'lda yozilgan qoidalarga o'xshash qoidalar yaratilgan. Biroq, nutqni qismlarga ajratish Markovning yashirin modellaridan tabiiy tilda ishlov berishda foydalanishni joriy etdi va borgan sari izlanishlar statistik modellarga yo'naltirildi, ular kirishni tashkil etuvchi xususiyatlarga real baholangan og'irliklarni biriktirish asosida yumshoq, ehtimoliy qarorlar qabul qilishdi. ma'lumotlar. Ko'pgina nutqni aniqlash tizimlari ishonadigan kesh tillari modellari bunday statistik modellarning namunalari. Bunday modellar odatda notanish kiritishda, ayniqsa xatolarni o'z ichiga olgan holda kiritilganda yanada mustahkamroq bo'ladi (real ma'lumotlarga juda o'xshash) va bir nechta pastki satrlarni o'z ichiga olgan katta tizimga qo'shilganda yanada ishonchli natijalar beradi.

Mashhur tarjima sohasida ko'plab ko'zga ko'ringan yutuqlar, ayniqsa murakkabroq statistik modellar ishlab chiqilgan IBM Research-da ishlashi tufayli ro'y berdi. Ushbu tizimlar Kanada parlamenti va Evropa Ittifoqi tomonidan ishlab chiqilgan mavjud hukumat tuzilmalarining barcha davlat tillariga tarjima qilishni talab etuvchi qonunlar natijasida ishlab chiqarilgan mavjud tilli matnli korporatsiyalardan foydalanishlari mumkin edi. Biroq, boshqa tizimlarning aksariyati ushbu tizimlar tomonidan bajariladigan vazifalar uchun maxsus ishlab chiqilgan korporaga bog'liq edi, bu ushbu tizimlarning muvaffaqiyatida katta cheklov edi (va ko'pincha shunday bo'lib qoladi). Natijada, ko'plab tadqiqotlar cheklangan miqdordagi ma'lumotlardan yanada samarali o'rganish usullariga o'tdi.

Yaqinda olib borilgan tadqiqotlar tobora ko'proq nazoratsiz va yarim nazorat ostida o'rganish algoritmlariga qaratilgan. Bunday algoritmlar kerakli javoblar bilan qo'lda izohlanmagan yoki izohlanmagan va izohlanmagan ma'lumotlarning kombinatsiyasidan foydalangan holda ma'lumot olishlari mumkin. Umuman olganda, bu vazifa nazorat qilinadigan o'qishdan ko'ra ancha qiyin va odatda berilgan ma'lumotlarning aniq miqdori uchun kamroq natijalar beradi. Biroq, e'lon qilinmagan juda ko'p miqdordagi ma'lumotlar mavjud (shu qatorda, Butunjahon Internet tarmog'ining butun tarkibi), agar ular ishlatilgan algoritmda etarlicha vaqt murakkabligi bo'lsa, ko'pincha past natijalarni keltirib chiqarishi mumkin. amaliy bo'ling.
2010-yillarda vakillik o'rganish va chuqur neyron tarmoq uslubidagi mashinani o'rganish usullari tabiiy ravishda keng tarqaldi

Matn tahlillari va NLP ushbu ulkan ma'lumotlar to'plamida biznes qiymatini ochish uchun kalitga ega. NLP mashinalari uchun tabiiy tilni osonlashtirishi bilan shug'ullanadi, matnli tahlil esa matn manbalaridan foydali ma'lumotlarni olishni anglatadi.

Bugungi kunda, matn tahlillari va NLP asta-sekin raqobatbardosh tahlil va mashina razvedka tizimlarining sifatini yaxshilash kabi turli xil biznes-ilovalar uchun juda foydali bo'lgan maydonga aylanmoqda. To'g'ri platforma va AIni amalga oshirish korxonalarga ma'lumotlarning ko'lidan to'liq foydalanishga va so'nggi matn tahlillari va NLP algoritmlaridan foydalanishga imkon beradi.