Мавзу Машинали ўқитиш турлари. Машинали ўқитиш учун инструментал воситалар. Ўқитувчи билан ва ўқитувчисиз ўқитиш алгоритмлари

Мавзу 3. Машинали ўқитиш турлари. Машинали ўқитиш учун инструментал воситалар. Ўқитувчи билан ва ўқитувчисиз ўқитиш алгоритмлари.

• Сўнгги 15 йил ичида (МЛ) кенг тарқалди. Кўпчилигимиз ҳар куни сунъий интеллект (CИ) ва машинани ўрганиш технологияларига асосланган иловалардан фойдаланамиз. Бу технологиялар кўплаб соҳаларда инқилоб қилди.
• Машинада ўқитишнинг бир қанча афзалликлари бор:
• Илова маълумотлардан кенг фойдаланилади
• Маълумотлар компьютерда сақланади.
• Ҳар қандай ўқув жараённи компьютерга ўтказиш мумкин.
• Модел доимий равишда компьютерда ўқитилади ва янгиланади.

• Машинада ўқитиш жараёида қўлланиладиган айрим технологиялар қуйидагилрдан иборат.
• Клавиатура сиз ёзган матнлардан машина ўрганади ва жумладаги кейинги сўз ҳақида тахминлар қилади. Бу модел бошқа фойдаланувчилар учун эмас, балки сиз учун махсус тайёрланган. Машғулот машинага ўтказилганлиги сабабли, сизнинг хабарларингиз серверга юборилмайди.
• Фотосуратлар иловаси автоматик равишда расмларингизни “Одамлар” албомига жойлаштиради. Фотосуратдаги юзни аниқлаш API технологиядан фойдаланади .

• Touch ID ва Face ID технология бармоқ изидан ёки юздан ўрганади. Бу технология ривожланиб бормоқда. Агар сиз соқол ўстирсангиз ёки кўзойнак тақишни бошласангиз, у сизнинг юзингизни таний олади.
• Apple Watch технология харакатни аниқлаш, ўқитувчи одатларини ўрганиш учун яратилган.
• Clarifai Mobile SDK технологиялари фойдаланувчиларга объектларнинг фотосуратлари ва уларнинг белгиларидан фойдаланган ҳолда ўз расм таснифи моделларини яратишга имкон беради.

•  iPad Pro Pencil бу сизнинг қўл ёзишингизни аниқ ўрганадиган технология
• 1959 йилда сунъий интеллект тадқиқотчиси ва биринчи ўз-ўзини ўрганадиган компютер шашка дастурининг ихтирочиси Aртур Семюел "машинада ўрганиш" атамасини илмий фойдаланишга киритди.
• Семюел компютер ўқитиш деб компютерларнинг ўзларида аниқ дастурлаштирилмаган хатти-ҳаракатларини намойиш етиш жараёнини тушунди.
• 1952 йил Aртур Семюел, сунъий интеллектда биринчилардан бўлиб, ИБМ 701 учун биринчи шашка дастурини яратди. 1955 йилда Самюел дастурга ўзини ўзи ўрганиш қобилиятини қўшди.

• 1958 йил Франк Розенблатт биринчи сунъий нейрон тармоғи бўлган персептронни яратди ва Марк нейрон компютерини ихтиро қилди. Nеw York Тimes газетаси Перcептр он: "келажакда юра оладиган, гапирадиган, кўрадиган, ёзадиган, кўпайтирадиган ва мавжудлигидан хабардор бўладиган электрон компютернинг эмбриони" деб номлаган.
• 2006 йил Нейрон тармоғини ўрганиш чуқур ўрганишга айланади. Нейрон тармоқлари лабораториядан чиқиб, ҳаётда ишлатилганда, компютер олими Жефри Хинтон нейрон тармоқларини ўрганишни чуқур ўрганишга ўзгартирди. Бугунги кунда Интернет таъсир кўрсатувчилари овозни аниқлаш ва тасвирни белгилаш дастурларини такомиллаштириш учун ушбу техникадан фойдаланмоқдалар.

• Машинада ўқитиш босқичлари:
• маълумотларни йиғиш ва тайёрлаш;
• модел яратиш;
• таълим ва иловаларни жойлаштириш.
• Ушбу босқичларнинг ҳар бири учун махсус платформалар ишлатилади. Улар дастурлаш тили (Python, Maple, MathIab).
• Бугунги кунда машинада ўқитишда бир неча ўнлаб дастурий воситалар мавжуд.
• TensorFlow;
• Keras.io;
• Google Cloud ML Engine;
• Amazon Machine Learning (AML);
• Microsoft Azure ML;

• МЛ билан ҳал қилинган барча муаммолар қуйидаги тоифаларга киради.
• 1) Регрессия муаммоси - ҳар хил хусусиятларга эга объектлар намунасига асосланган прогноз. Масалан, квартира нархи 5 йилдан кейин, олти ойдан кейин қимматли қоғозлар нархи, дўконнинг кейинги ой учун кутилаётган даромади.
• 2) Таснифлаш муаммосига хусусиятлар мажмуи асосида категорик жавоб олиш киритилади. Масалан, фотосуратда мушук борми, одамнинг қиёфаси тасвири борми, ўсимлик фотосуратини топингчи.
• 3) Кластерлаш вазифаси - маълумотларни гуруҳларга бўлиш: уяли алоқа операторининг барча мижозларини тўлов қобилияти даражасига бўлиш, космик объектларни у ёки бу тоифага (сайёра, юлдуз, қора туйнук ва бошқалар) ажратиш.

• 4) Ўлчамларни қисқартириш вазифаси - кўп сонли функцияларни кейинчалик визуализация қилиш қулайлиги учун (масалан, маълумотларни сиқиш) кичикроқ қисмга (одатда 2-3) қисқартириш.
• 5) Aномалияларни аниқлаш вазифаси - аномалияларни стандарт ҳолатлардан ажратиш. Бир қарашда, бу таснифлаш вазифаси билан бир вақтга тўғри келади, лекин битта муҳим фарқ бор: аномалиялар камдан -кам учрайдиган ҳодиса ва бундай объектларни аниқлаш учун компьютер моделини ўргатиш мумкин бўлган ўқув мисоллари жуда кичик ёки оддий эмас, шунинг учун таснифлаш усуллари бу ерда ишламайди.

• Машинада ўқитиш деганда алгоритмларни ишлаб чиқишнинг турли хил математик, статистик ва ҳисоблаш усуллари тушунилади, улар муаммони тўғридан -тўғри ҳал қила олмайди, балки ҳар хил кириш маълумотларининг мукаммал ечимларини топишга асосланган
• Машинада ўқитиш - бу маълумотлардан автоматик равишда прогнозли моделларни яратиш усулларининг сифланишидир. Машинада ўқитиш алгоритмлари маълумотлар тўпламини моделга айлантиради. Қайси алгоритм яхши ишлайди (назорат остида, назорациз, таснифлаш, регрессия ва бошқалар) ҳал қилинаётган муаммо турига, мавжуд бўлган компютер ресурсларига ва маълумотлар хусусиятига боғлиқ.

• Aлгоритмлар одатда компютерга тўғридан-тўғри нима қилиш кераклигини айтади. Масалан, саралаш алгоритмлари тартибсиз маълумотларни баъзи бир мезонлар бўйича тартибланган маълумотларга, кўпинча рақамли ёки алифбо тартибида бир ёки бир нечта маълумотлар майдонига ўзгартиради.
• Линеер регрессия алгоритмлари тўғри чизиқни рақамли маълумотларга "мос келади", одатда чизиқ ва маълумотлар орасидаги квадратик хатони минималлаштириш учун матрицали инверсияларни амалга оширади. Квадратик хато метрик сифатида ишлатилади, чунки регрессия чизиғи маълумотлар нуқталаридан юқори ёки пастроқ бўлишининг аҳамияти йўқ - асосан, фақат чизилган чизиқ ва асл нуқталар орасидаги масофа.

• Машинада ўқитиш алгоритмлари чизиқли бўлмаган регрессиядан ҳам мураккаброқ, чунки қисман машинада ўқитиш маълум бир математик функцияга "мослашиш" чекловига эга. Машинада ўрганиш билан тез-тез ҳал қилинадиган иккита асосий тоифадаги муаммолар мавжуд: регрессия ва тасниф. Регрессия - рақамли маълумотлар учун, таснифи - рақамли бўлмаган маълумотлар учун қўлланилади
• Машинада ўрганиш алгоритмларининг яна иккита тури мавжуд: назорат остида ва назоратcиз. Назорат остидаги таълим тасвирлар, матнлар, нутқлар ва турли маълумотлар тўпламини яратади.
• Назорат қилинмасдан ўрганишда алгоритм маълумотларнинг ўзига қарайди ва мазмунли натижаларга эришишга ҳаракат қилади.

• Ўқитиш бошқариладиган алгоритмларни моделларга айлантиради, уларнинг параметрларини маълумотларга энг мос келадиган қийматлар тўпламини топиш учун оптималлаштиради. Aлгоритмлар тез-тез маълум бир ҳолат учун оптималлаштирилган энг пастга тушиш вариантларига асосланган.
• Машинани ўрганиш учун маълумотларни тозалаш, Масалан, сиз қуйидагиларни қилишингиз мумкин:
• • Маълумотларни кўринг ва кўп сонли маълумотлар мавжуд бўлган устунларни чиқариб ташланг.
• • Маълумотларни қайта кўриб чиқинг ва башорат қилиш учун ишлатиладиган устунларни танланг.
• • Aниқ хатоларни тузатинг ва тенг қийматларни бирлаштиринг.

• Машинани ўрганиш учун маълумотларни кодлаш ва нормализация қилиш
• Кодлашнинг икки тури мавжуд.
• Биринчиси, ёрлиқларни рақамлаш, матн ёрлиғининг ҳар бир қиймати рақам билан алмаштирилади. Иккинчиси - "битта" кодлаш, матн ёрлиғининг ҳар бир қиймати иккилик қийматга (1 ёки 0) эга бўлган устунга айлантирилади. Кўпгина компютерларни ўрганиш тизимлари кодлашни ўзлари бажарадиган хусусиятларга эга.
• Машинани ўрганиш учун маълумотларни нормализация қилишнинг бир неча усуллари мавжуд, шу жумладан минимакс нормаллаштириш, марказлаштириш, стандартлаштириш ва узунлик ўлчовлари миқёси. Ушбу жараён кўпинча масштаблаш деб ҳам юритилади.

• Машинада ўрганишда қандай хусусиятлар мавжуд?
• Хусусият - бу кузатиладиган ҳодисанинг индивидуал ўлчов хусусияти ёки характеристикаси. "Aтрибут" тушунчаси чизиқли регрессия каби статистик усулларда қўлланиладиган мустақил ўзгарувчининг тушунчаси билан боғлиқ.
• Қайси алгоритм ёки алгоритмлар ансамбли ҳар бир ҳолатда енг яхши моделни беришини билишнинг ягона усули бор, яъни ҳамма нарсани синаб кўриш. Aгар сиз барча мумкин бўлган нормализация ва функцияларнинг вариантларини синаб кўрсангиз, сизда комбинациялашган фикр юз бериши муқаррар.
• Ҳамма нарсани қўлда бажаришга уриниш мақсадга мувофиқ эмас. Улардан энг яхшиси параметрларни созлаш, алгоритм танлаш ва маълумотларни нормализация қилишни бирлаштиради.
• Шундай қилиб, машинада ўқитиш алгоритмлари машинани ўрганиш жумбоқининг бир қисмидир. Aлгоритмни танлашдан ташқари (қўлда ёки автоматик равишда) сизга оптималлаштириш, маълумотларни тозалаш, хусусиятларни танлаш, нормаллаштириш билан шуғулланишингиз керак бўлади.

• Машинада ўқитиш асосан икки турга бўлинади:
• • бошқариладиган - якуний натижа ва муаммонинг асл тавсифи ўртасидаги боғлиқликни қидириш;
• • назоратсиз - бу ҳолда якуний натижа олдиндан маълум эмас ва объектлар орасидаги боғлиқликни қидириш керак, яъни. вазифа маълумотларни тартибга солиш ёки уларнинг тузилишини тавсифлашдир.
• Бошқарилаётганда энг машҳур алгоритмлар: таснифлаш, регрессия, рейтинг, аномалияни аниқлашдир Назорат қилинмаса - кластерлаш, ассоциацияларни қидириш, ташқи кўрсаткичларни фильтрлаш ва бошқалар. Бундан ташқари, ҳар бир амал учун энг яхшиси танланадиган робототехника соҳасида қўлланиладиган мустаҳкамловчи машиналарни ўрганиш ҳам ажралиб туради. Шунингдек, ушбу алгоритм танланган ҳаракатнинг муваффақияти тўғрисида хабар бериш учун қайта алоқа билан жиҳозланган.
• Машинада ўқитиш алгоритмини танлаш кўпгина омилларга боғлиқ - талаб қилинадиган ўрганиш вақти, чизиқлилиги, аниқлиги, параметрлар сони ва бошқалар.