Axborotni taqdim etish tili va vositalari

N-gramm tili modeli
Bu model w₁, …, wm jumlasini farqlashning P(w₁, …, wm) ehtimoli quyidagicha ko'rsatilgan:

N-gramm modeli oldingi i-1 so'zlarning kontekst tarixida
i- so'z, wi bilan uchrashish ehtimolini qisqartirilgan kontekst tarixi ehtimoli bilan bashorat qilish mumkinligini taxmin qiladi.
Shartli ehtimollikni n-gramm modeli chastotasi hisobiga hisoblash mumkin:

• 
  Bigram va trigram tili modellari atamalari n=2 va n=3 boʻlgan modellardir.
  
• 
  To'g'ridan-to'g'ri chastotalarni hisoblashdan olingan til modellari ilgari ko'rinmagan so'zlar bilan yaxshi ishlamaydi, shuning uchun n-gram modeli ehtimoli to'g'ridan-to'g'ri kelib chiqmaydi, aksincha, oddiy "qo'shish" dan boshqa murakkabroq modellarga, masalan, orqaga o'chirish kabi turli xil tekislash turlari qo'llaniladi.
  
• 
  Modellar yoki Good-Turning chegirmalari.
  
• 
  Ikki tomonlama tasvirlar barcha qatlamlarda ham kontekstdan oldingi, ham keyingi kontekstni belgilaydi.
  
• 
  Eksponensial til modellari
  
• 
  Maksimal entropiya modellari sifatida ham tanilgan, ular xususiyat funktsiyalari yordamida so'z va n-gramm tarixi o'rtasidagi munosabatni kodlaydi, buning uchun tenglama:
  

• 
  Z -bo'lim funksiyasi,
  
• 
  a - parametr vektori
  
• 
  Eng oddiy holatda ma'lum n-grammli indikator ishlatiladi.
  

Neyron tarmoqlar til modellari
Neyron tarmoqlar tili modellari neyron tarmoqlardan foydalangan holda bashorat qilish uchun so'zlarning doimiy ko'rinishlari yoki o'rnatilishidan foydalanadi. Neyron tarmog'i til modellari matnlarning katta hajmlarida o'rgatilganligi sababli, so'z boyligi va mumkin bo'lgan kombinatsiyalar soni ortadi. Neyron tarmoqlari juda katta bo'lganligi sababli, so'zlar chiziqli bo'lmagan og'irlik birikmalari sifatida taqsimlangan tarzda ifodalanadi. Boshqacha qilib aytadigan bo'lsak, neyron tarmog'i til modellari til funktsiyasiga yaqinlashadi va odatda ehtimollik taqsimotini o'rganadigan ehtimollik tasniflagichlari sifatida o'qitiladi.
Modelni standart neyron algoritmlari, masalan, orqaga tarqalish bilan stokastik gradient tushishi yordamida o'rgatish mumkin. Kontekst oldingi so'zlarning qattiq o'lchamli oynasi bo'lishi mumkin va tarmoq taxmin qiladi,

oldingi k so'zni ifodalovchi xususiyat vektoridan.
Xususiyat sifatida kelajakdagi so'zlar bilan bir qatorda o'tmishdagi so'zlarni ham ishlatish mumkin va taxminiy ehtimollik:

Bu "so'zlar sumkasi" modeli deb ataladi. Xususiyat vektorlari uzluksiz ishlash orqali birlashtirilganda, model "uzluksiz so'zlar sumkasi" arxitekturasi (CBOW) deb ataladi. Bir marta neyron tarmoqni o'zgartirib, uni so'z kontekstini o'rganishga majburlashi mumkin, log-ehtimollik maksimal darajaga etadi.

Bu erda k - o'quv kontekstining o'lchami va wt so'zining markazining vazifasi bo'lishi mumkin. Bu skip-gram tili modeli. Bag-of-words va skip-gram word2vec dasturining asosi hisoblanadi.
Tarmoqlarda yoki yashirin qatlamlarda kodlangan taqsimlangan tasvirni so'zlarning tasviri sifatida ishlatish odatiy holdir, har bir so'z "so'zni joylashtirish" deb nomlangan n o'lchovli haqiqiy vektorga ko'rsatiladi, bu erda n - chiqish qatlamidan oldingi qatlamning o'lchami.
Skip-gram modellarining o'ziga xos xususiyati borki, ular chiziqli birikmalar sifatida so'zlar o'rtasidagi semantik munosabatlarni modellashtiradi va kompozitsionlik shaklini oladi. Masalan, v so'zni xaritalash funksiyasi w uning n-d vektor ko'rinishi bo'lsa:
v(king) — v(male) + v(female) ≈ v(queen)
Bu erda ≈ uning o'ng tomoni chap tomonning qiymatiga eng yaqin qo'shni bo'lishi sharti bilan aniqlangan.
Til modellarining qo’llanilishi:
Til modeli tanlangandan so'ng, undan nima uchun foydalanish mumkinligi haqidagi savol keyingi tabiiy savoldir. Ba'zi til modellari matnni bashorat qilish yoki yaratish uchun mo'ljallangan bo'lib, ilovalar ushbu xususiyatlarni talab qilishi kerak, shuning uchun ulardan foydalanish mumkin:
1. Siz kiritganingizda so'zlarni taklif qiluvchi Gmail Smart Compose
2. Siri tipidagi savol va javoblar, ko'pchilik uchun bu eng ilmiy turdagi vazifalardan biri
3. Google Translate — tarjima juda murakkab vazifa boʻlib, agar siz har qanday texnik turdagi hujjatni tarjima qilish uchun Google Translate’dan foydalangan boʻlsangiz, u qanday qilib ajoyib tarzda muvaffaqiyatsizlikka uchraganini koʻrasiz. Shuningdek, u so'zlashuv tarjimalari bilan kurashadi

Tushuncha

Tushunchalar mavhum g'oyalar sifatida belgilanadi. Ular tamoyillar, fikrlar va e'tiqodlar ortidagi kontseptsiyaning asosiy qurilish bloklari sifatida tushuniladi.[1] Ular bilishning barcha jabhalarida muhim rol o‘ynaydi.[2][3] Shunday qilib, tushunchalar tilshunoslik, psixologiya, falsafa kabi bir qancha fanlar tomonidan o‘rganiladi va bu fanlar tushunchalarning mantiqiy-psixologik tuzilishi, ular qanday qilib birlashtirilib, fikr va jumlalarni shakllantirish bilan qiziqadi. Kontseptsiyalarni o'rganish kognitiv fan deb ataladigan rivojlanayotgan fanlararo yondashuvning muhim flagmani bo'lib xizmat qildi.[4]
Zamonaviy falsafada kontseptsiya nima ekanligini tushunishning kamida uchta asosiy usuli mavjud:[5]
Tushunchalar aqliy tasavvurlar sifatida, bu erda tushunchalar ongda mavjud bo'lgan mavjudotlar (aqliy ob'ektlar)
Kontseptsiyalarni ierarxiyaga ajratish mumkin, ularning yuqori darajalari "yuqori" va quyi darajalari "bo'ysunuvchi" deb ataladi. Bundan tashqari, "asosiy" yoki "o'rta" daraja mavjud bo'lib, unda odamlar kontseptsiyani eng oson toifalarga ajratadilar.[6] Misol uchun, asosiy darajadagi tushuncha "stul" bo'ladi, uning bo'ysunuvchisi "mebel" va unga bo'ysunuvchi "oson stul".
Tushunchalar aniq yoki noto'g'ri bo'lishi mumkin.[7] Aql daraxt tushunchasi kabi umumlashma qilsa, u ko'plab misollardan o'xshashliklarni ajratib oladi; soddalashtirish yuqori darajadagi fikrlashga imkon beradi. Kontseptsiya uning barcha haqiqiy yoki potentsial misollari, xoh bu real dunyodagi narsalar bo'ladimi yoki boshqa g'oyalar bo'ladimi, tomonidan yaratilgan (reifikatsiya qilingan).
Tushunchalar inson bilishining tarkibiy qismlari sifatida tilshunoslik, psixologiya va falsafaning kognitiv fanlari fanlarida o'rganiladi, bu erda davom etayotgan munozarada barcha bilish tushunchalar orqali sodir bo'lishi kerakmi degan savol tug'iladi. Kontseptsiyalar matematika, informatika, ma'lumotlar bazalari va sun'iy intellektda rasmiy vositalar yoki modellar sifatida ishlatiladi, bu erda ular ba'zan sinflar, sxemalar yoki toifalar deb ataladi..

Tushunchalar qobiliyat sifatida, bu erda tushunchalar kognitiv agentlarga (aqliy holatlar) xos qobiliyatlardir.

Fregean tuyg'ulari sifatida tushunchalar (sezgi va ma'lumotnomaga qarang), bu erda tushunchalar aqliy ob'ektlar va ruhiy holatlardan farqli ravishda mavhum ob'ektlardir.
Norasmiy foydalanishda kontseptsiya so'zi ko'pincha har qanday fikrni anglatadi. Kontseptsiyalarni ierarxiyaga ajratish mumkin, ularning yuqori darajalari "yuqori" va quyi darajalari "bo'ysunuvchi" deb ataladi. Bundan tashqari, "asosiy" yoki "o'rta" daraja mavjud bo'lib, unda odamlar kontseptsiyani eng oson toifalarga ajratadilar.[6] Misol uchun, asosiy darajadagi tushuncha "stul" bo'ladi, uning bo'ysunuvchisi "mebel" va unga bo'ysunuvchi "oson stul".
Tushunchalar aniq yoki noto'g'ri bo'lishi mumkin.[7] Aql daraxt tushunchasi kabi umumlashma qilsa, u ko'plab misollardan o'xshashliklarni ajratib oladi; soddalashtirish yuqori darajadagi fikrlashga imkon beradi. Kontseptsiya uning barcha haqiqiy yoki potentsial misollari, xoh bu real dunyodagi narsalar bo'ladimi yoki boshqa g'oyalar bo'ladimi, tomonidan yaratilgan (reifikatsiya qilingan).
Tushunchalar inson bilishining tarkibiy qismlari sifatida tilshunoslik, psixologiya va falsafaning kognitiv fanlari fanlarida o'rganiladi, bu erda davom etayotgan munozarada barcha bilish tushunchalar orqali sodir bo'lishi kerakmi degan savol tug'iladi. Kontseptsiyalar matematika, informatika, ma'lumotlar bazalari va sun'iy intellektda rasmiy vositalar yoki modellar sifatida ishlatiladi, bu erda ular ba'zan sinflar, sxemalar yoki toifalar deb ataladi. Norasmiy foydalanishda kontseptsiya so'zi ko'pincha har qanday fikrni anglatadi.
Hukm
1.Analitik mulohazalar tavsiflovchi mazmunga ega emas.
2.Sintetik hukmlar faqat tavsiflovchi mazmunga ega.
3.Baholovchi mulohazalar tavsiflovchi mazmundan tashqariga chiqadi.
Analitik mulohazalar - bu mavzu mavhum yoki kontseptual bo'lgan hukmdir.
U bizga moddiy dunyoning tabiati haqida emas, balki tushunchalar orasidagi munosabatlar yoki mavhum mavjudotlarning xususiyatlari haqida gapiradi.
Tushunchalarning ma'nosini bilish va ba'zi mantiqiy tahlil jarayoni bilan shug'ullanish analitik hukmning haqiqatini aniqlash uchun etarli.
Sintetik mulohazalar
Sintetik mulohazalar haqiqatda qandayligi haqida bayonot berish uchun kontseptsiyalardan foydalangan holda haqiqiy dunyoga etib boradi.
Bu erdagi tushunchalar moddiy olamning ba'zi boshqa mumkin bo'lgan konfiguratsiyalarini istisno qiladigan mazmunli tasdiqlash uchun vositadir.
Tushunchalar va tillarning ma'nosini bilish ularning predmeti bo'lgan real dunyo haqida hech narsa aniqlash uchun etarli bo'lmaydi, chunki bu empirik kuzatish zarur.
Baholovchi hukm yana bir qadam tashlaydi.
Baholovchi mulohazalar dunyoning qandayligini tavsiflashdan tashqari, bu dunyoga munosabatni ifodalaydi. Bu bizning dunyoga bo'lgan hayotiy qiziqishimizdan kelib chiqadi va bu dunyoni shakllantirishda rol o'ynaydi.
Biz baholovchi deb hisoblashimiz mumkin bo'lgan barcha mulohazalar shu tarzda tavsifdan tashqariga chiqavermaydi, lekin bizning hozirgi maqsadlarimiz uchun bu atama faqat tavsiflovchi bo'lmagan mazmunga ega bo'lgan "to'g'ri" baholovchi hukmlar uchun qo'llaniladi.