O’zbekiston respublikasi axborot texnologiyalari va kommunikatsiyalarini rivojlantirish vazirligi muhammad al-xorazmiy nomidagi toshkent axborot texnologiyalari universiteti samarqand filiali

3. Metodologiya
Ushbu bo'limda biz onlayn yangiliklar maqolalari uchun ko'p sinfli matn tasnifini amalga oshirish bilan bog'liq qadamlarni tasvirlab beramiz. Xususan, ma'lumotlar to'plamini yig'ish, matnni oldindan qayta ishlash, xususiyatlarni tanlash, matnni tasniflash algoritmlarini amalga oshirish va matn tasniflagichlari uchun giperparametrlarni tanlash kabi bosqichlar ko'rib chiqiladi.
3.1. Ma'lumotlar yig'ish
Onlayn xabarlar maʼlumotlarini toʻplash uchun “Daryo” internet-nashri tanlab olindi. Milliy qidiruv tizimining statistik maʼlumotlariga koʻra, tashrif buyuruvchilar va koʻrishlar soni boʻyicha Oʻzbekistonda “Daryo” (https://daryo.uz) yetakchi oʻrinni egallaydi. “Daryo” onlayn axborot saytining yana bir jihati shundaki, yangiliklar maqolalari sayt muharrirlari tomonidan toifalarga bo‘linadi. Bu veb-sayt maqolalarida matnni tasniflash vazifasini bajarish uchun eng yaxshi xususiyatlardan biridir.
Biz onlayn yangiliklar maqolalaridan ma'lumotlarni to'plash uchun maxsus dastur ishlab chiqdik. Ushbu dasturni amalga oshirish jarayonida Requests Python kutubxonasi va Beautiful Soup Python dasturidan foydalanildi.
“Daryo” onlayn axborot sayti 50 dan ortiq toifaga ega. Biz ulardan 10 tasini tanladik: dunyo, fan, madaniyat, mahalliy, shou-biznes, sport, texnologiyalar, avto, foto va kino. Kategoriyalarni tanlashda eng ko'p maqolalar soni va ulardagi belgilar soni hisobga olingan. Har bir toifadagi maqolalar sonidagi muvozanatni saqlash uchun har bir toifadan maksimal 2000 ta maqola tanlab olindi. Ushbu yangiliklar maqolalari 01.01.2016 dan 31.12.2019 gacha bo'lgan vaqt oralig'ida onlayn nashr etilgan. Ma'lumotlar to'plami shakl ma'lumotlarini o'z ichiga oladi: yangiliklar maqolasi, havola, matn, sarlavha, nashr etilgan sana, toifa, har bir maqola uchun matn uzunligi. Maqola matnlari HTML teglari, URL manzillari, manzillar va kulgichlardan tozalandi. 1-rasmda har bir turkumdagi yangiliklar maqolalari soniga asoslangan maʼlumotlar toʻplamini shakllantirish diagrammasi koʻrsatilgan.