Laboratoriya ishi №6 Mavzu: VoxCommando o’yinlarda ovozli boshqarish Ishdan maqsad

Kompyuter bilan to'laqonli aloqani amalga oshirishga urinishlar uchun nutqni tanib olish moduli bosma matnni tanib olish va uni gapirish qobiliyatiga ega.

Hozirgi vaqtda nutqni tanib olish moduli ingliz, nemis, frantsuz, ispan, xitoy, portugal, yapon tillarini qo'llab-quvvatlamoqda, ishlab chiquvchilar boshqa tillarda, shu jumladan rus tilida ishlash qobiliyatini qo'shishni rejalashtirmoqdalar.

Nutqni aniqlash moduli Nuance * Dragon Assistant-ga asoslangan: Nuance * Ovozli buyruq va boshqarish - oldindan belgilangan buyruqlar ro'yxatida tanib olish; Nuance * Voice диктант - qisqa jumlalarni tanib olish (<30 soniya); Nuance * Voice Synthesis - dublyaj bosilgan matn (qisqa jumlalar).

Nutqni tanib olish, ovozli buyruqlar va nutqni sintez qilish imkoniyatlarini o'z dasturlariga kiritadigan ishlab chiquvchilar dasturni ijro etiladigan tizimda nutqni aniqlash protsessori (dvigatel) va tilni o'z ichiga olgan Nuance * Dragon Assistant Core o'rnatilgan bo'lishi kerakligini bilishlari kerak. paket. Shuni ham yodda tutingki, Nuance * Dragon Assistant Core-ning kiritilishi faqat ishlab chiqish maqsadlari bilan chegaralanadi (EULA-da ko'rsatilganidek) va ishlab chiquvchilarga tashqi dastur uchun dasturni tarqatishlariga yo'l qo'ymaydi.

SDK nutqni tanib olish modulidan foydalanadigan dasturlarga qo'shimcha talablar sifatida siz mikrofonning majburiy mavjudligini belgilashingiz mumkin, lekin agar bu ikki yo'nalishli mikrofonlar bo'lsa, masalan, Creative * Interactive Gesture Camera mikrofonlari.

Apparat va dasturiy ta'minot talablari, shuningdek tijorat dasturlarida nutqni aniqlash modulidan foydalanish imkoniyati haqida ko'proq ma'lumotni bu erda o'qishingiz mumkin [http://software.intel.com/en-us/articles/perc-faq#].

Shakl. 2.1 SDK arxitekturasini ko'rsatadi. Asosiy g'oya - SDK strukturasining modulligi. Kirish / chiqarish uchun modullar to'plami, shuningdek, ma'lum algoritmlarni amalga oshirish uchun modullar to'plami mavjud. Masalan, yuzni aniqlash, nutqni aniqlash yoki nutqni sintez qilish algoritmlari.

SDK I / U moduli interfeyslarini va modul algoritmlarini standartlashtiradi, shunda dasturlar funksionallikka bevosita kirishlari mumkin. SDK-dan foydalanadigan dastur to'g'ridan-to'g'ri kamera bilan ishlamaydi, chunki I / U moduli shu bilan shug'ullanadi, shu sababli SDK-dan foydalangan holda bir nechta dasturlarning bir vaqtning o'zida ishlashiga erishiladi, masalan, veb-kamera bilan ishlashda, ilova eksklyuziv kirish huquqini cheklaganda. boshqa ilovalar uchun kamera. SDK, shuningdek, mavjud bo'lgan ko'plab modullardan ma'lum bir dasturni topish mexanizmini, shuningdek, boshqa sinxronizatsiya va boshqa kutubxonalar va ramkalar bilan o'zaro aloqani sinxronlashtirish kabi xususiyatlarni taqdim etadi. Bundan tashqari, SDK umumiy foydalanish holatlari uchun yordamchi sinflar to'plamini taqdim etadi (manba kodi yoki shakl kutubxonalari), shuning uchun ishlab chiquvchi ularni faqat ma'lum bir foydalanish uchun sozlashi kerak. SDK ko'lamini kengaytirish uchun bir nechta mashhur ramkalar va o'ramlarni (tilni o'rash) o'z ichiga oladi.

Qo'lda barmoqlarning holatini kuzatish uchun modulni ko'rib chiqing. Bizda 7 ta nuqta mavjud: barmoq uchlari, kaftning o'rtasi va tirsakda joylashgan eng ko'zga ko'ringan nuqta. Agar har bir barmoqning joylashgan joyini bilishni istamasangiz, eng yuqori nuqta, eng o'ng nuqta yoki qo'lning massa markazi kabi maxsus parametrlarni so'rashingiz mumkin. Ikkinchisiga qattiq ishonmaslik kerak, chunki bu o'zgaruvchan qiymatdir. Shuning uchun, agar siz qo'lingizni kuzatib borishingiz kerak bo'lsa, aniq shovqinlar uchun barmoq uchidan foydalanish tavsiya etiladi.

Ovozni boshqarish moduli nutqni tanib olish uchun ikkita asosiy funktsiyani taklif etadi: birinchisi, ovozli menyularni amalga oshirish uchun modul funktsiyalaridan foydalanish. Ikkinchisi diktant. Ushbu funktsiya 30 soniyagacha bo'lgan qisqa iboralarni bajarishga mo'ljallangan. Hozirda nemis, ingliz ingliz, amerika ingliz, frantsuz, italyan, yapon, portugal, ispan, xitoy lug'atlari mavjud. Ovozli dvigatellarni ishlab chiquvchilar bilan hamkorlik qilganimizda ko'proq tillar qo'shiladi. Endi ovozli boshqaruvni amalga oshirish uchun Nuance Dragon Assistant ovozli dvigatelidan foydalanilmoqda. Yaqinda rus tili ham mavjud bo'ladi.