Korpus lingvistikasi

МАТННИНГ АВТОМАТИК РАЗМЕТКАСИ – парсинг ва таггинг
дастурлари томонидан матнни автоматик разметкалаш.
Катта ҳажмли корпусни қўлда разметкалаш узоқ муддатли,
қимматли меҳнатни талаб этади. Ўтган асрнинг 70-
йилларидаёқ бу вазифани сунъий интеллектга юклатиш
бўйича бир неча лойиҳалар ишлаб чиқилди (Курс “Корпусная
лингвистика” (А.Б. Кутузов) Лицензия Creative commons Attribution Share-Alike 3.0
Unported (Электрон ресурс) - //lab314.brsu.by/kmp-lite/kmpvideo/CL/CorporeLingva.pdf ). Ўшанда TAGGIT дастури Браун
корпусидаги сўзларнинг 77 фоизини сўз туркумига тўғри
ажратган эди, қолганини эса 10 йил давомида қўлда
бажаришга тўғри келганди. Лекин 80-йилларга келиб,
CLAWS (Constituent Likelihood Automatic Word-tagging
System) дастури Браун корпуси сўзларини 95 фоиз тўғри
таҳлил қилди. Бугунги кунга келиб Европа тиллари учун
сўз туркуми автоматик разметкаси (word-class tagging), гап
бўлаклари автоматик разметкаси (parsing) ишлаб чиқилган.

Бу ишнинг натижаси автоматик таржима ва	интернет
қидирув тизимининг ишлашида намоён бўлади. Матнга автоматик ишлов бериш устида иш олиб бораётган
олимлар		(сайт		http://www.aot.ru),	асосан,	назарий

лингвистикани замонавий ахборот технологияларида
қўллаш устида иш олиб боришмоқда. Бу борада рус, инглиз
ва немис тилларидаги матнни таҳлил қилишнинг графем
(сўз чегарасини аниқлаш), морфологик (сўз туркумини
аниқлаш), синтактик (гап бўлакларини аниқлаш) ҳамда
семантик (сўзлараро семантик муносабат) модулларини
яратишган. Корпусни разметкалаш (аннотациялаш) дастурлаштирилган йўллар билан амалга оширилади. Бунда,
аввало, вақтни тежаш, меҳнатни камайтириш назарда
тутилса, иккинчидин, матнга автоматик ишлов бериш
муаммосига ечим топилади. Ҳозирча анафорик, просодик
разметка қийин, разметка фақат қўлда бажариляпти,
кейинчалик дастурлаштирилади. Морфологик, синтактик
разметка эса теггер, парсинг ёрдамида амалга оширилса-да,
бу дастурларнинг ҳам аксарияти автоматик разметкадан
кейинги тузатишни талаб қилади. Морфологик омонимия
(кўпроқ флектив тилларга хос), синтактик кўпмаънолилик
ҳолатида дастур хулосанинг бир неча кўринишини таклиф
қилади, тадқиқотчи эса кераклисини танлайди. Янги авлод
корпуслари ҳажмининг фавқулодда катталашгани
мутахассислар олдига разметканинг тўлиқ автоматлаштирилган турига ўтиш, янги, мукаммал теггер ва парсинг
яратиш вазифасини қўяди. Автоматик морфологик таҳлил
(теггер) ёрдамида ҳар бир лексик бирликка (сўз туркуми,
лемма, граммема гуруҳи) алоҳида грамматик характерис
тика (шахс-сон, келишик, бошқа грамматик категория)
берилади. Масалан, Браун корпусида сўзнинг частотасини
аниқлаш осон. Фақат бу сўзшаклнинг (корпус тилида
токен) частотаси бўлади. Лексеманинг частотасини
аниқлаш учун эса ҳар бир сўзга унинг леммаси
бириктирилган бўлиши керак. Корпусни автоматик
разметкалашнинг оддий усули сўзнинг лексик категорияси
кўрсатилган ҳажман катта электрон луғатни
разметкаланган корпус билан бирлаштиришдир. Шунда
электрон луғатдаги изоҳ (грамматик категория тавсифи)
разметкаланмаган корпусдаги сўзга тег сифатида
ўзлаштирилади. Масалан, корпус ва электрон луғатда
ахборот, сиёсат сўзлари мавжуд бўлса, луғатдаги “от”
теги автоматик тарзда корпусга кўчади. Лекин бу усул
билан ҳам корпусни тўлиқ разметкалашнинг имкони йўқ.
Чунки баъзи сўз ва бирикмалар бир вақтнинг ўзида бир
неча категорияга мансуб бўлиши мумкин. Бу ҳолат
морфологик кўпмаънолилик (ambiguity) муаммоси билан
боғлиқ. Олма, математик, этик, сурма, сузма, бўлмоқ,
қўллар, боғлар каби сўзшакллар бирдан ортиқ грамматик
категорияга тегишли, шу сабабли бундай сўзларни фақат
электрон луғат ёрдамида разметкалаб бўлмайди.
Контекстда сўзшакл фақат битта категорияга тегишли
бўлиб қолади, шунинг учун разметканинг яна ҳам
мукаммалроқ кўриниши: морфологик разметка учун
синтактик разметка, синтактик разметка учун семантик
разметка қилиш корпусни тўлиқ ва тўғри разметкалашга
олиб келади. Лингвистик разметканинг барча (морфологик,
синтактик, семантик, анафорик, просодик) турлари
қуйидаги тамойиллар асосида амалга оширилади: разметка
схемасини тавсифлаш (асослаш) (1); умумий лингвистик
тушунчалар тизимини аниқлаш (2); фойдаланувчи учун
маълум бўлган таҳлил схемасини шакллантириш (4);
разметка схемасининг назарий анъанавийлигига эришиш
(5); халқаро андозаларга амал қилиш (6)