Mavzu: Tabiiy tilni qayta ishlash

tokenizer.fit_on_texts (matnlar) bosib chiqarish (tokenizer.index_word)

Olingan indekslar quyidagicha: {1: "bu", 2: "mening", 3: "it", 4: "oladi", 5: "birga", 6: "with", 7: "mushuklar", 8: "that", 9 : "mushuk", 10: "shafqatsiz", 11: "baxtli", 12: "qachon", 13: "bu", 14: "tushlik"}

 

sayoz

jumlada

15

uchta

MATRITSA

So'zlar to'plami yondashuvi ko'plab mashinalarni o'rganish algoritmlarida qo'llaniladi, ko'pincha natijalar yaxshilardan tortib to adolatga qadar bo'ladi va siz zich arxitektura qatlamlaridan foydalanib neyron tarmoqqa qo'llashingiz mumkin. Kodlangan so'zlarning o'zgarishi n_grams (oldingi paragrafda NLP ishlov berish o'zgartirilishi sifatida muhokama qilingan) biroz ko'proq ma'lumot beradi, ammo yana, siz so'zlarni bog'lay olmaysiz.  RNN-lar ketma-ketlikni kuzatib boradilar, shuning uchun ular hali ham bitta issiq kodlashni ishlatadilar, lekin ular butun iborani kodlamaydilar, aksincha har bir tokenni alohida kodlaydilar (bu so'z, belgi yoki hatto bir nechta belgilar bo'lishi mumkin). Shuning uchun ular jumlalarni ifodalovchi indekslar ketma-ketligini kutishadi:  bosib chiqarish (tokenizer.texts_to_sequences (matnlar))