Mavzu: Tabiiy tilni qayta ishlash

Matnni olgandan keyin siz uni qayta ishlaysiz. Har bir iborani qayta ishlaganda, siz matndan tegishli xususiyatlarni chiqarib tashlaysiz (siz odatda yaratasiz so'zlar to'plami matris) va hamma narsani chuqur o'rganish algoritmi kabi o'rganish modeliga o'tkazing.

Matnni qayta ishlash jarayonida siz matnni boshqarish uchun turli xil o'zgarishlardan foydalanishingiz mumkin (tokenizatsiya majburiy majburiy o'zgartirilishi bilan):

Normallashtirish

Tozalash

Tokenizatsiya

So‘zlarni o‘chirishni to‘xtatish:

Ogohlantirish

Lemmatizatsiya

Pos-

N-

Ushbu o'zgarishlarga erishish uchun sizga NLTK yoki Scikit-learn kabi maxsus Python to'plami kerak bo'lishi mumkin. Chuqur o'rganish va ko'plab misollar bilan ishlashda sizga faqat asosiy o'zgarishlar kerak: normalizatsiya, tozalash va tokenizatsiya. Chuqur bilim qatlamlari qanday ma'lumotni olish va qayta ishlashni aniqlay oladi. Bir nechta misollar bilan ishlaganda, chuqur o'rganish tarmog'iga bir nechta misollarda keltirilgan ozgina ko'rsatmalarga qaramay nima qilish kerakligini aniqlashga yordam berish uchun imkon qadar ko'proq NLP ishlov berishingiz kerak.

Matnni qayta ishlagandan so'ng, tegishli funktsiyalarni chiqarib olishingiz kerak, bu qolgan matnni neyron tarmog'ini qayta ishlash uchun raqamli ma'lumotlarga aylantirishni anglatadi. Bu odatda matnni chastotali kodlash yoki ikkilik kodlash yo'li bilan olinadigan so'zlar to'plami yordamida amalga oshiriladi. Ushbu jarayon har bir so'zni siz ifodalashingiz kerak bo'lgan so'zlar soniga qadar matritsa ustuniga aylantirish bilan tenglashadi. Quyidagi misol ushbu jarayonga qanday erishish kerakligini va nimani anglatishini ko'rsatmoqda. Birinchi qadam sifatida, bir nechta Python buyruqlaridan foydalanib, ishlov berish uchun so'z lug'at hajmini aniqlash uchun asosiy normallashtirish va tokenizatsiya tayyorlaysiz: