Asosiy komponentni tahlil qilish (pca) / svd

Logistik regressiya

Og'irliklar qo'llanilgandan so'ng, logistik regressiya chiziqli bo'lmagan (asosan sigmoidal funktsiya yoki tan ishlatiladi) chiziqli regressiya bilan cheklangan, shuning uchun chiqish cheklovi +/- sinfiga yaqin (sigmasimon holatdagi 1 va 0). Kross-entropiyani yo'qotish funktsiyalari gradient tushirish usuli yordamida optimallashtirilgan.

Yangi boshlanuvchilar uchun eslatma: Logistik regressiya regressiya uchun emas, balki tasniflash uchun ishlatiladi. Umuman olganda, u bir qavatli neyron tarmoqqa o'xshaydi. Gradientning tushishi yoki L-BFGS kabi optimallash usullaridan foydalangan holda o'qitish. NLP ishlab chiqaruvchilari ko'pincha "maksimal entropiya tasnifi" sifatida foydalanadilar.

Oddiy, ammo juda kuchli tasniflagichlarni tayyorlash uchun LR-dan foydalaning.


SVM (qo'llab-quvvatlovchi Vektorli mashina)


SVM - chiziqli / logistik regressiya kabi chiziqli model. Farqi shundaki, u marjaga asoslangan yo'qotish funktsiyasiga ega. Yo'qotish funktsiyasini L-BFGS yoki SGD kabi optimallash usullaridan foydalanib optimallashtirishingiz mumkin.



SVM-larning bitta noyob ishi bu klass tasniflagichlari haqida bilishdir.


SVM klassifikatorlarni (hatto regressatorlarni) o'qitish uchun ishlatilishi mumkin.


Qayta yo'naltiriladigan neyron tarmoqlari


Asosan, bu ko'p bosqichli logistik regressiya tasniflagichlari. Og'irlikning ko'p qatlamlari nomutanosibliklar bilan ajratiladi (sigmasimon, tan, relu + yumshoq va yangi selu). Ularni ko'p qavatli in'ikoslar deb ham atashadi. FFNN-lar avtokoder sifatida tasniflash va nazoratsiz o'rganish uchun ishlatilishi mumkin.



FFNN klassifikatorni o'qitishda yoki avtokoder sifatida funktsiyalarni ajratishda ishlatilishi mumkin.


Konvolyutsion neyron tarmoqlari


Mashinada o'qitishning deyarli barcha zamonaviy yutuqlariga konvulsion neyron tarmoqlari yordamida erishildi. Ular tasvirni tasniflash, ob'ektni aniqlash yoki hatto rasm segmentatsiyasi uchun ishlatiladi. 90-yillarning boshlarida Yan Lekun tomonidan ixtiro qilingan tarmoqlar iyerarxik ob'ektni ekstraktori sifatida ishlaydigan konvolyutsion qatlamlarga ega. Siz ularni matn bilan ishlashda ishlatishingiz mumkin (va hatto grafika bilan ishlashda).