Axborotni taqdim etish tili va vositalari

Statistik til modellari: Ushbu modellar so'zlarning ehtimollik taqsimotini o'rganish uchun N-gramlar, Yashirin Markov Modellari (HMM) va ma'lum lingvistik qoidalar kabi an'anaviy statistik usullardan foydalanadi.
Neyron til modellari: Bular NLP shaharchasining yangi o'yinchilari va samaradorligi bo'yicha statistik til modellaridan o’zib ketishdi. Tilni modellashtirish uchun ular turli xil neyron tarmoqlardan foydalanadilar
Unigram tili modeli
Unigram: bir holatli chekli avtomatlarning kombinatsiyasi. Ushbu model kontekstda turli atamalarning ehtimolliklarini ajratadi:

Ushbu model til modelidagi har bir so'zning hujjat bo'yicha taqsimlanishi ehtimolini hisoblab chiqadi, ya'ni model bo'yicha ehtimollik taqsimoti 1 ga teng bo'ladi.

Muayyan so'rovning ehtimoli:
Turli xil hujjatlarning turli unigramma modellarida bir xil so'zning ehtimoli, masalan, har xil bo'ladi :

Unigram modeli P(term) = 0 misollarini oldini olish uchun tekislanadi, odatda butun kollektsiya uchun maksimal ehtimollik hosil qiladi va keyin to'plam modelini har bir hujjat uchun maksimal ehtimollik modeli bilan chiziqli interpolyatsiya qiladi.