1. Statistika lotincha “status” - ahvol, holat so‘zi bilan italyancha “state” - davlat so‘zidan kelib chiqib, davlat ahvoli haqidagi fan. Etimologiya, ya’ni so‘zlarni kelib chiqishi jihatidan bu atama bevosita qandaydir bitta klassik - grekcha yoki lotincha ildizga ega emas. U lotincha “status”, ya’ni ahvol, holat degan so‘zning italyancha “state” - davlat degan so‘z qiyofasini olishidan kelib chiqadi. Statistika so‘zi kundalik hayotga va ilm-fanga XVIII asrda kirib keldi. Dastlab, savdo va moliya kapitali hamda pul munosabatlari taraqqiyoti natijasida vujudga kelgan ehtiyojni qondirish maqsadida to‘plangan mamlakat aholisi, iqtisodiy va siyosiy ahvoli haqidagi ma’lumotlar statistik axborotlar deb yuritiladi.
Hozirgi zamon statistikasi davlatshunoslikdan axborotlarning to‘laligi, turli- tumanligi va xarakteri bilan tubdan farq qiladi. Bu farq nafaqat axborot turlari ko‘pligi va to‘laligida ko‘zga tashlanib qolmasdan, shu bilan birga ularning xarakterida ham yaqqol kuzatiladi. Endi statistika deganda faqat miqdoriy ifodalangan axborotlar tushuniladi. Masalan, muayyan davlatda qanday siyosiy tizim xukmronligi, qaysi til davlat tili ekanligi statistikaga hech qanday aloqasi yo‘q, ammo siyosiy firqolar soni, ularning maqsadi, a’zolar soni va boshqa belgilar bo‘yicha taqsimlanishi, yetakchi firqo tashkilotlari a’zolarining ijtimoiy holati, yoshi, jinsi va boshqa belgilari bo‘yicha taqsimoti, qaysi tilda qancha aholi gaplashishi va hokazolar - bular statistikadir. Mamlakat hududiy bo‘linmalarining ro‘yxati yoki jo‘g‘rofiy xaritada joylanishi statistika emas, biroq aholini soni, sanoat tarmoqlari va hokazolarning hududiy kesimda taqsimoti statistikadir.
Shunday qilib, statistika atamasi ko‘p qirrali tushuncha bo‘lib, hozirgi kunda u quyidagi mazmunlarda ishlatiladi:
-statistika deganda turmushimizning turli tomonlari - iqtisodiy, madaniy, siyosiy, ma’naviy, sotsial-psixologik, ijtimoiy-demografik va hokazo hodisalar hamda atrof-muhit holati haqidagi ma’lumotlar majmuasi tushuniladi. Bunday mazmunda bu so‘z ko‘proq davriy matbuot sahifalarida va axborot vositalarida ishlatiladi;
-ma’lumotlarni to‘plash va qayta ishlash jarayoni ham statistika deb yuritiladi;
-statistik ko‘rsatkichlarni hisoblaydigan va saqlaydigan, axborot xizmatlarini ko‘rsatadigan maxsus tashkilotlar nazarda tutilganda ham statistika so‘zi foydalaniladi. Masalan, gazeta sahifalarida “statistika bergan ma’lumotlarga ko‘ra” degan ibora tez-tez uchrab turadi;
-yirik korxona va idoralarda ho‘jalik faoliyat haqidagi ko‘rsatkichlarni hisoblash va hisobotlar tuzish bilan shug‘ullanadigan bo‘lim nomi ham statistika deb yuritiladi;
-statistika deb maxsus ilm-fan yo‘nalishi ham ataladi;
-statistika deganda turli ilmiy-texnika sohalarida gipotezalar yasash, baholash va yechimlar qabul qilish jarayonida statistik uslubiyatni tatbiq qilish ham tushuniladi;
-nihoyat, matematikada turli mezonlar va umumlashtiruvchi ko‘rsatkichlar statistika deb yuritiladi.
Statistika vazifalari
Statistika o‘rganish obyekti - bu ommaviy hodisa va jarayonlardir. Statistika ommaviy hodisa va jarayonlarni o‘rganadi. Ular biror narsalar to‘plamida va o‘zaro bog‘langan to‘plamlar orasida kechadi. Bu yerda hodisa so‘zi jamiyat hayotida, turmushda, tabiatda, bir so‘z bilan aytganda, moddiy dunyoda haqiqatda bo‘lgan real voqeani bildiradi. Masalan, oilada bola tug‘ilishi, paxta hosili, ishchilar soni, yog‘ingarchilik (qor yoki yomg‘ir yog‘ishi), atrof-muhit bulg‘anishi va hokazolar. Jarayon so‘zi voqealar oqimini, ularning ma’lum makon va zamon sharoitida qanday tezlikda kyechishini, yuzaga chiqish yoki chiqmasligini, o‘zgarishini, hodisalar rivojlanishini anglatadi.
Statistika deganda ilk bor mamlakatning iqtisodiy va siyosiy ahvolini sonlar va iboralar yordamida izohlash tartibi haqidagi fan tushunilgan bo‘lsa ham, hozirgi kunda bu so‘z ko‘p ma’noda qo‘llaniladi: Statistika-bu: 1)turmush, jamiyat hayoti haqidagi aniq sonlar, ko‘rsatkichlar to‘plami; 2) mazkur ma’lumotlarni to‘plash, ishlash,umumlashtirish, saqlash va yetkazib berish bilan bog‘liq bo‘lgan faoliyat sohasi; 3) ommaviy jarayonning ustidan ko‘p kuzatishlar o‘tkazish natijasida olingan umumlashtiruvchi mezonlar, ko‘rsatkichlar;4)ilm-fanning maxsus sohasi.Statistika fani ommaviy hodisa va jarayonlarni o‘rganadi, ularda namoyon bo‘ladigan statistik qonuniyatlarni aniqlaydi, ularning me’yorini belgilaydi. U o‘z uslubiyatiga ega va ommaviy jarayonni o‘rganish uslubi sifatida moddiy dunyo va ilm-fanning hamma sohalarida qo‘llanadi. Ayniqsa ijtimoiy-iqtisodiy, ommaviy hodisalarni bilishda,idrok qilishda statistika beqiyos katta rol o‘ynaydi. Bu sohada olib borilgan tekshirish va kuzatishlarni umumlashtirish natijasida statistika fan sohasi tarzida shakllanganligi va taraqqiy etib kelayotganligi bejiz emas. Uning uslubiyati barkamol topishida matematika va boshqa aniq fanlar hissasini ham inkor etib bo‘lmaydi.
Iqtisodiy statistika yagona sttatistika fanining tarkibiy qismi va tarmog‘idir. Shu bilan birga uning o‘rganish obyekti muhim o‘ziga xos tomonlarga egaligi va ularga umumstatistik usullarni moslashtirish yo‘li bilan yangi mazmun va shakllar baxsh etilgani va natijada birmuncha takomillashgan uslubiyat yaratilganligini hisobga olib iqtisodiy statistikani ma’lum darajada mustaqil fan deb qarash ham mumkin.
2. Statistik kuzatish mohiyati va uning oldiga qo‘yiladigan talablar
Statistik kuzatish - bu o‘rganilayotgan ommaviy hodisalar haqida boshlang‘ich ma’lumotlarni to‘plash jarayonidir
Ommaviy jarayonlarni statistika jihatidan o‘rganish, ya’ni bir turli hodisalar va ularning belgilari orasidagi bog‘lanishlarni miqdoriy ifodalab ularning to‘plarida namoyon bo‘ladigan statistik qonuniyatlarni aniqlash uchun dastlab ular haqida, o‘rganilayotgan obyektlar to‘g‘risida boshlang‘ich ma’lumotlar yoki boshqa so‘z bilan aytganda xom statistik materiallarni to‘plash kerak. Mana shu jarayon statistik kuzatish deb ataladi.
Kuzatish so‘zi quyidagi lug‘aviy ma’noga ega:
biror narsa (predmet, obyekt)ni bilish, aniqlash maqsadida sinchiklab ko‘zdan kechirish;
biror narsa yoki kimsani zimdan qarab tekshirib turish, ta’qib qilish;
voqealarni o‘rganish, tekshirish, biror narsa yoki maqsadni nazarda tutish.
Statistik kuzatish ommaviy hodisalarni, jarayonlarni sinchiklab tekshirish uchun ular haqida boshlang‘ich materiallarni to‘plashdir. U o‘rganilayotgan obyektlarni va ularning unsurlarini hisobga olish bilan bog‘liq. Hisob – bu biror predmet miqdorini sanab yoki o‘lchab aniqlash, biror kimsa yoki narsa mavjud miqdorini belgilash uchun maxsus hujjatda u haqidagi ma’lumotlarni qayd qilish.
Statistik kuzatish ho‘jalik va turmush voqealarining hisobiga asoslanadi. Turli shakldagi korxonalar va ularning uyushmalarida ho‘jalik voqealari buxgalteriya va operativ texnika hisoblarida qayd qilinadi. Statistik kuzatish ko‘pincha ana shu hisob turlari ma’lumotlariga tayanadi. Shu bilan birga ayrim iqtisodiy,ishlab chiqarish masalalarini o‘rganish uchun bevosita kuzatish ham amalga oshiriladi.
Statistik kuzatishga talablar: aniqlik, to‘lalik, taqqoslamalik
Statistik kuzatish va uning natijasida to‘planadigan ma’lumotlar uchta talabga javob berishi kerak, ya’ni: 1) aniqlik va to‘g‘rilik; 2) to‘lalik va har taraflamalik; 3) taqqoslamalik, solishtirmalik.
Statistik kuzatish statistik tekshirishning birinchi bosqichidir. U tasviriy statistikaning asosi, ommaviy hodisa va jarayonlarni o‘rganishning eng muhim va mas’uliyatli davri hisoblanadi, chunki tekshirishning pirovard natijasi avvalom bor kuzatish jarayonida to‘plangan ma’lumotlarga bog‘liq. Aniqlik, to‘lalik va taqqoslamalik statistik kuzatishning asosiy ilmiy prinsiplari va qonunidir. Statistik kuzatish hisobdan, oddiy bir predmetli kuzatishdan ko‘p jihatlari bilan farq qiladi. Statistik kuzatish har doim ommaviy xarakterga ega, uning obyekti bo‘lib ommaviy hodisa va jarayonlar xizmat qiladi. Hisob esa har bir hodisani qayd etadi, u yakkalantirish, yolg‘izlantirish xarakteriga ega. Yolg‘iz hodisa hisob va bir predmetli kuzatishning obyekti hisoblanadi. Statistik kuzatish hisobni, oddiy bevosita kuzatishni o‘z ichiga oladi, chunki ayrim hodisalarni qayd qilish yo‘li bilan ularning to‘plami haqida ma’lumotlar olinadi. Bu holda ayrim hodisa statistik kuzatish obyektining birligi hisoblanadi. Statistik kuzatish qator dasturiy-uslubiy va tashkiliy masalalarni ilmiy asosda yechishni talab qiladi. U haqqoniy ma’lumotlar yetkazib berishi uchun kuzatish obyekti va birligi to‘g‘ri aniqlanishi, chegaralanishi, uning dasturi, hujjati (statistik formulyari) va yo‘riqnomasi to‘g‘ri tuzilishi, vaqti va joyi to‘g‘ri belgilanishi kerak. Boshqa masalalar, chunonchi kuzatish usuli va turi, shakli, yo‘llari va hokazolar ham ilmiy asosda yechilishi lozim. To‘g‘ri, ilmiy asosda deganda zikr etilgan masalalarni yechish jarayonida kuzatilayotgan hodisalarning mohiyatiga ichki bog‘lanishlariga, rivojlanish qonun va qonuniyatlariga tayanish zarurligi nazarda tutiladi. Ma’lumki, ular tegishli nazariy fanlar predmeti hisoblanadi, masalan iqtisodiy hodisalar mohiyatini, ularning muhim xususiyatlarini, ichki bog‘lanishlarini, rivojlanish qonuniyatlarini yoritish iqtisodiy nazariya va boshqa iqtisodiy fanlar predmetidir. Tarixiy manbalar asosida u yoki bu davrga tegishli buyumlar, ularning xususiyatlari va o‘zaro bog‘lanishlarini aniqlash, turli joylarda izlanishlar o‘tkazib, har xil buyumlar yoki ularning parchalarini topish, topilmalarning xususiyatlarini aniqlash va modullar yasash va hokazolar - bularning hammasi arxeologiya fanining predmeti hisoblanadi. Bunday nazariy ta’limotlarni bilmasdan, ularga tayanmasdan statistik kuzatish obyekti va birligi, uning dasturini muvaffaqiyatli aniqlash va boshqa uslubiy va tashkiliy masalalarni salgina bo‘lsada to‘g‘ri yechish mumkin emas.
Statistik kuzatish uch bosqichga ega: 1) kuzatishni tayyorlash; 2) uni amalga oshirish; 3) kuzatish materiallarini qabul qilish. Ular o‘zaro bog‘langan bo‘lib, ma’lum masalalarni yechadi. Hamma bosqichlarda kuzatish natijasida to‘planadigan ma’lumotlarning haqqoniyligini ta’minlovchi tadbir-choralar amalga oshirilishi kerak. Agarda birinchi bosqichda yechimlar qabul qilish jarayonida nazariy adekvatlikni ta’minlash tadbir-choralari ko‘rilsa, ikkinchi bosqichda ularga qat’iy rioya qilish ustidan uzluksiz nazorat olib boriladi, uchinchi bosqichda esa kuzatish materiallarini har taraflama tekshirish yo‘li bilan ulardagi xatolar aniqlanadi va bartaraf etish tadbir - choralari amalga oshiriladi.
3. Yilda statistika, tasnif to'plamning qaysi birini aniqlash muammosi toifalar (pastki populyatsiyalar) yangi kuzatuv ga tegishli, a asosida o'quv to'plami toifaga a'zoligi ma'lum bo'lgan kuzatuvlarni (yoki misollarni) o'z ichiga olgan ma'lumotlar. Masalan, berilgan elektron pochtani "spam" yoki "spam bo'lmagan" sinf va ma'lum bir bemorga bemorning kuzatilgan xususiyatlari (jinsi, qon bosimi, ba'zi bir alomatlarning mavjudligi yoki yo'qligi va boshqalar) asosida tashxis qo'yish. Tasniflash misoldir naqshni aniqlash.
Mashinada o'qitish terminologiyasida,[1] tasnifi nazorat ostida o'rganish, ya'ni to'g'ri aniqlangan kuzatishlar bo'yicha mashg'ulotlar to'plami mavjud bo'lgan joyni o'rganish. Tegishli nazoratsiz protsedura sifatida tanilgan klasterlash, va o'ziga xos o'xshashlik o'lchovi asosida ma'lumotlarni toifalarga guruhlashni o'z ichiga oladi masofa.
Ko'pincha, individual kuzatuvlar har xil deb nomlanuvchi miqdoriy xususiyatlar to'plamiga tahlil qilinadi tushuntirish o'zgaruvchilari yoki Xususiyatlari. Ushbu xususiyatlar har xil bo'lishi mumkin toifali (masalan, "A", "B", "AB" yoki "O", uchun qon guruhi), tartibli (masalan, "katta", "o'rta" yoki "kichik"), butun son (masalan, an tarkibidagi ma'lum bir so'zning paydo bo'lish soni elektron pochta) yoki haqiqiy qadrli (masalan. ning o'lchovi qon bosimi). Boshqa tasniflagichlar kuzatishlarni avvalgi kuzatishlar bilan a yordamida taqqoslash orqali ishlaydi o'xshashlik yoki masofa funktsiya.
An algoritm tasniflashni amalga oshiradigan, ayniqsa aniq amalga oshirishda, a klassifikator. "Tasniflovchi" atamasi ba'zan matematikani ham anglatadi funktsiya, tasniflash algoritmi bilan amalga oshirilgan, bu ma'lumotni toifaga taqqoslaydi.
Dalalar bo'yicha terminologiya juda xilma-xildir. Yilda statistika, bu erda tasniflash ko'pincha amalga oshiriladi logistik regressiya yoki shunga o'xshash protsedura kuzatuvlarning xususiyatlari deb ataladi tushuntirish o'zgaruvchilari (yoki mustaqil o'zgaruvchilar, regressorlar va boshqalar) va bashorat qilinadigan toifalar natijalar sifatida tanilgan bo'lib, ular mumkin bo'lgan qiymatlar deb hisoblanadi qaram o'zgaruvchi. Yilda mashinada o'rganish, kuzatuvlar ko'pincha sifatida tanilgan misollar, tushuntirish o'zgaruvchilari deyiladi Xususiyatlari (a ga guruhlangan xususiyat vektori) va taxmin qilinadigan mumkin bo'lgan toifalar sinflar. Boshqa sohalarda turli xil atamalar qo'llanilishi mumkin: masalan. yilda jamoat ekologiyasi, odatda "tasniflash" atamasi qo'llaniladi klaster tahlili, ya'ni nazoratsiz o'rganishUshbu maqolada tasvirlangan nazorat ostida o'rganish o'rniga.
Tasniflash va klasterlash umumiy muammoga misoldir naqshni aniqlash, bu ma'lum bir kirish qiymatiga qandaydir chiqish qiymatini belgilashdir. Boshqa misollar regressiya, har bir kirishga haqiqiy baholangan chiqishni belgilaydigan; ketma-ketlik yorlig'i, bu qiymatlar ketma-ketligining har bir a'zosiga sinfni belgilaydigan (masalan, nutqni belgilashning bir qismi, belgilaydigan a nutqning bir qismi kirish gapidagi har bir so'zga); tahlil qilish, belgilaydigan a daraxtni tahlil qilish tavsiflovchi kirish gapga sintaktik tuzilish gapning; va boshqalar.
Tasniflashning umumiy subklassi ehtimollik tasnifi. Ushbu tabiatdan foydalanish algoritmlari statistik xulosa ma'lum bir misol uchun eng yaxshi sinfni topish. "Eng yaxshi" sinfni chiqaradigan boshqa algoritmlardan farqli o'laroq, ehtimollik algoritmlari a ni chiqaradi ehtimollik mumkin bo'lgan har bir sinfning a'zosi bo'lgan misol. Odatda eng yaxshi sinf eng katta ehtimollik darajasi bilan tanlanadi. Biroq, bunday algoritm ehtimol bo'lmagan tasniflagichlarga nisbatan juda ko'p afzalliklarga ega:
U o'z tanlovi bilan bog'liq bo'lgan ishonch qiymatini chiqarishi mumkin (umuman, buni amalga oshiradigan klassifikator a deb nomlanadi ishonchga asoslangan tasniflovchi).
Shunga mos ravishda, mumkin tiyilish har qanday aniq mahsulotni tanlashga bo'lgan ishonch juda past bo'lsa.
Yaratilgan ehtimolliklar tufayli ehtimollik tasniflagichlari mashinasozlikning katta vazifalariga samaraliroq kiritilishi mumkin, bu muammolarni qisman yoki to'liq oldini oladi. xato tarqalishi.
Statistik tasniflash bo'yicha dastlabki ishlar olib borildi Fisher,[2][3] ga olib keladigan ikki guruhli muammolar sharoitida Fisherning chiziqli diskriminanti guruhni yangi kuzatuvga berish qoidasi sifatida ishlaydi.[4] Ushbu dastlabki ish, har ikkala guruhning har biridagi ma'lumotlar qiymatlari a ga ega deb taxmin qildi ko'p o'zgaruvchan normal taqsimot. Xuddi shu kontekstni ikkitadan ortiq guruhga yoyish, shuningdek, tasnif qoidalariga muvofiq cheklovlar bilan ko'rib chiqildi chiziqli.[4][5]Keyinchalik ko'p o'zgaruvchan normal taqsimot bo'yicha ishlash klassifikatorga imkon berdi chiziqli emas:[6] ning turli xil tuzatishlari asosida bir necha tasniflash qoidalarini olish mumkin Mahalanobis masofasi, markazida kuzatuv masofasi eng past darajada bo'lgan guruhga yangi kuzatuv tayinlanadi.
Tasniflash ko'plab dasturlarga ega. Ulardan ba'zilarida u a sifatida ishlatiladi ma'lumotlar qazib olish protsedura, boshqalarda esa batafsil statistik modellashtirish amalga oshiriladi.
Kompyuterni ko'rish
Tibbiy tasvir va tibbiy tasvir tahlili
Optik belgilarni aniqlash
Video tomosha qilish
Giyohvand moddalarni kashf etish va rivojlanish
Toksikogenomika
Miqdoriy tuzilish-faoliyat munosabatlari
Geostatistika
Nutqni aniqlash
Qo'l yozuvini tanib olish
Biometrik identifikatsiya qilish
Biologik tasnif
Statistik tabiiy tilni qayta ishlash
Hujjatlarning tasnifi
Internet qidiruv tizimlari
Kredit ballari
Naqshni tanib olish
Tavsiya etuvchi tizim
Mikro-massivlarning tasnifi
Sun'iy intellekt
Ikkilik tasnif
Sinfga a'zo bo'lish ehtimoli
Tasniflash qoidasi
Murakkab muddatli qayta ishlash
Ma'lumotlarni qazib olish
Ma'lumotlar ombori
Bulaniq mantiq
Axborot olish
Mashinaviy tadqiqotlar uchun ma'lumotlar to'plamlari ro'yxati
Mashinada o'qitish
Tavsiya etuvchi tizim
4. Statistik ma’lumotlarni shunday taqdim etish kerakki, ulardan foydalanish qulay bo‘lsin, ularni o‘qish va tushunish oson bo‘lsin. Ularni taqdim etishning eng kamida 3 ta usuli mavjud:
- matnda so‘z bilan bayon etish,
- jadval shaklida ifodalash;
- grafiklar orqali tasvirlash.
Ma’lumotlarni so‘z bilan matnda bayon etish ko‘rinishda yaxshi yo‘lga o‘xshab tuyulsa ham, ammo subyektning mahoratiga, ma’lumotlarni talqin qilishdagi o‘ziga xoslikka bog‘liq. Bundan tashqari, bu holda ularni har taraflama tushunish, bog‘lanishlarini payqash birmuncha og‘irlashadi.
Do'stlaringiz bilan baham: |