Яқин қўшнилар усули

13-маъруза. Нопараметрик усуллар: k та яқин қўшнилар усули, парзен дарчаси усули

-яқин қўшнилар усули

-яқин қўшнилар усули – ( ингл. k-nearest neighbors algorithm, ) – автоматик равишда объектларни синфлаш ёки регрессия алгоритмидир.
Усулни синфлаш учун ишлатилганда объект, унинг та синфлари олдиндан маълум қўшнилари ичида кенг тарқалган синфга тегишли деб ҳисобланади. Усулни регрессия учун қўлланилганда объект қиймати, объектнинг, қийматлари олдиндан маълум бўлган та қўшниларининг ўртача қийматига берилади.
Алгоритм катта сондаги аломатларга (кўп ўлчамга) эга бўлган танланма учун қўлланилиши мумкин. Бунинг учун усулни қўллашдан олдин масофа функциясини аниқлаб олиш керак бўлади. Бундай функциянинг анъанавий варианти – эвклид метрикасидир.
Берилган танланма объектлари миқдорий аломатлар билан тавсифланган. Танланма объектлари ўзаро кесишмайдиган синфларга бўлинган бўлсин. Объектлар ўртасидаги масофани ҳисоблаш учун метрикаси (Эвклид метрикаси) танланган бўлсин.
Танланма иккита ва синфга бўлинган деб ҳисоблаган ҳолда янги объектни классификация қилиш учун метрика билан дан танланманинг барча объектларига бўлган масофлар ҳисобланади ва қийматларининг ўсиши бўйича тартибланади:

Берилган (аниқланган) (жуфт бўлмаган) бўйича энг яқин бўлган объектлар “атроф” қаралади:

объект тўпламдаги вакиллари кўп бўлган синфга тегишли деб ҳисобланади.


Қўшимча маълумотлар


Нормаллаштириш. Турли аломатлар қийматлари танланмада ҳар хил диапазондаги қийматларда тақдим этилган бўлиши мумкин (масалан, А аломати 0.1 дан 0.5 диапазонидаги, В аломат эса 1000 дан 5000 диапазонидаги қийматлар билан). Натижада масофа қиймати катта диапазондаги қийматларга қаттиқ боғланиб қолади. Шу сабабли берилганларни нормаллаштириш керак бўлади. Кластер таҳлилда нормаллаштиришнинг иккита асосий усули мавжуд: минимакс-нормаллаштириш ва Z-нормаллаштириш.
Минимакс-нормаллаштириш қуйидагича амалга оширилади:
.
Бу ҳолда барча қийматлар 0 дан 1 гача диапазонда бўлади; дискрет бинар қийматлар 0 ва 1 кўринишида аниқланади.