Mavzu: Tabiiy tilni qayta ishlash

noyob_words = majmui (word.lower () matndagi iboralar uchun so'zlar uchun so'z.split ("")) bosma (f "{len (noyob so'zlar)} noyob so'zlar mavjud").

Kod 14 so'zdan iborat. Endi yuklashni davom ettirasiz Keras-dan Tokenizer vazifasini bajaradi va kutilayotgan lug'at hajmini ta'minlab, matnni qayta ishlashga sozlaydi:

keras.preprocessing.text-dan import qilish Tokenizer lug'ati_size = len (noyob so'zlar) + 1 tokenizer = Tokenizer (num_words = vocabulary_size)

A foydalanish juda kichik bo'lgan lug'at_size o'quv jarayoniga muhim so'zlarni kiritmasligi mumkin. Juda katta bo'lgan narsa kompyuterning xotirasini befoyda sarf qilishi mumkin. Siz taqdim qilishingiz kerak Matnlar ro'yxatidagi aniq so'zlar sonini to'g'ri baholash bilan tokenizator. Bundan tashqari, siz har doim 1 ga qo'shasiz so'z birikmasi boshlanishi uchun qo'shimcha so'z berish uchun (so'zni chuqur o'rganish tarmog'iga yordam beradigan atama). Mazkur holatda, Tokenizer matnlarda mavjud bo'lgan so'zlarni indekslarga solishtiradi, ular matndagi so'zlarni ifodalovchi raqamli qiymatlardir: