Genetik Algoritmlar

Soxta yangiliklarni aniqlash

KTL 201-21 guruh magistranti

Abbos Aliqulov

Pythonda soxta yangiliklarni aniqlash

• Ushbu loyihada biz turli xil tabiiy tillarni qayta ishlash texnikasi va mashina o'rganish algoritmlaridan foydalangan holda soxta yangiliklar maqolalarini python-dan ilmiy to'plam kutubxonalari yordamida tasnifladik.

Ushbu loyiha uchun foydalaniladigan maʼlumotlar manbai LIAR maʼlumotlar toʻplami boʻlib, unda sinov, oʻqitish va tekshirish uchun .tsv formatli 3 ta fayl mavjud. Quyida ushbu loyiha uchun foydalanilgan maʼlumotlar fayllari haqida baʼzi tavsiflar berilgan.
FAYL TAVSIFLARI
DataPrep.py
Ushbu fayl barcha kiritilgan hujjatlar va matnlarni qayta ishlash uchun zarur bo'lgan barcha oldindan ishlov berish funktsiyalarini o'z ichiga oladi. Avval biz poezd, test va tekshirish maʼlumotlar fayllarini oʻqib chiqdik, soʻngra tokenizatsiya, stemming va h.k. kabi oldindan ishlov berishni amalga oshirdik. Baʼzi maʼlumotlar tahlili, masalan, javob oʻzgaruvchilarini taqsimlash va maʼlumotlar sifatini tekshirish, masalan, null yoki etishmayotgan qiymatlar va hokazo.
FeatureSelection.py
Ushbu faylda biz python kutubxonalarini o'rganishning ilmiy to'plamidan xususiyatlarni ajratib olish va tanlash usullarini bajardik. Xususiyatlarni tanlash uchun biz oddiy so'zlar va n-grammlar kabi usullardan, so'ngra tf-tdf vazni kabi atama chastotasidan foydalandik. Biz, shuningdek, xususiyatlarni ajratib olish uchun word2vec va POS tegidan foydalanganmiz, ammo POS teglari va word2vec hozircha loyihada ishlatilmagan.
classifier.py
Bu erda biz soxta yangiliklarni aniqlash uchun barcha tasniflagichlarni yaratdik. Olingan xususiyatlar turli tasniflagichlarga kiritiladi. Biz sklearn-dan Naive-bayes, Logistic Regression, Linear SVM, Stochastic gradient descent va Random o'rmon tasniflagichlaridan foydalanganmiz. Olingan xususiyatlarning har biri barcha tasniflagichlarda ishlatilgan. Modelni moslashtirgandan so'ng, biz f1 ballini taqqosladik va chalkashlik matritsasini tekshirdik. Barcha tasniflagichlarni o'rnatgandan so'ng, soxta yangiliklarni tasniflash uchun nomzod model sifatida ikkita eng yaxshi ko'rsatkichli model tanlandi. Biz ushbu nomzod modellarda GridSearchCV usullarini qo'llash orqali parametrlarni sozlashni amalga oshirdik va ushbu tasniflagich uchun eng yaxshi ishlaydigan parametrlarni tanladik. 
JARAYON OQIMI
Logistik regressiya klassifikatori
Tasodifiy tasniflagich
Eslatma: soxta yangiliklar yorliqlarini tasniflash uchun algoritmni o'rgatishdan oldin, biz undan xususiyatlarni ajratib olishimiz kerak. Bu massani kamaytirishni anglatadi

• Kirish tugmasini bosgandan so'ng, dastur siz tasdiqlamoqchi bo'lgan ma'lumot yoki yangiliklar sarlavhasi bo'lgan kiritishni so'raydi. Yangiliklar sarlavhasini joylashtirganingizdan yoki kiritganingizdan so'ng Enter tugmasini bosing.
• Kirish tugmachasini bosganingizdan so'ng, dastur foydalanuvchi ma'lumotlarini (yangiliklar sarlavhasi) oladi va model bo'yicha "To'g'ri" va "Yolg'on" toifalaridan biriga tasniflash uchun ishlatiladi. Yangilik sarlavhasini tasniflash bilan bir qatorda, model u bilan bog'liq haqiqat ehtimolini ham ta'minlaydi.