Modeling conversation context by adapting cognitive architectures cognitive model

Ushbu hujjatda biz neyrokognitiv xotira jarayonlaridan ilhomlangan ochiq domenli dialog tizimlari uchun til yaratish usulini taqdim etamiz. Biz an'anaviy seq2seq arxitekturasining kamchiliklarini ikki xil xotira bilan, ya'ni standart bilish modeliga asoslangan uzoq muddatli va ishlaydigan xotira bilan to'ldirib, engib o'tamiz. Shuningdek, biz uzoq muddatli xotiradan ishlaydigan xotiraga qadar aniq ma'lumotlarni o'z ichiga olgan tegishli so'zlarni aniqlashga yordam beradigan yangi harakatlarni tanlash mexanizmini amalga oshirmoqdamiz. O'z modelimizni baholash uchun biz harakatlarni tanlash mexanizmini zamonaviy boshlang'ich bilan taqqoslaymiz va uzoq suhbatlardan ko'ra eng jiddiy so'zlarni aniqlashda yaxshilanishlarni kuzatamiz va bizning mexanizmimiz inson reytingiga nisbatan yuqori bog'liqlikni ko'rsatadi.

2 KIRISh
Tabiiy tilni yaratishga keng yondashuvlar odatda ketma-ketlik (seq2seq) ramkalari, mashina tarjima tizimlarining moslashuvi sifatida shakllantirilgan (Vinyals & Le, 2015; Sutskever va boshqalar)., 2014). Oldingi tadqiqotlar shuni ko'rsatdiki, ushbu tizimlar bilan uzoqroq o'zaro aloqalar uchun ishlash, kontekstual ma'lumot sifatida dialog tarixidagi so'nggi so'zlarga ishonganligi sababli zerikarli va umumiy javoblarga olib kelishi mumkin (Tian va boshqalar)., 2017). Kontekstdan unumli foydalanish uchun tadqiqotchilar ierarxik va ierarxik bo'lmagan modellardan foydalanganlar (Tian va boshqalar)., 2017), ammo ushbu modellar hali ham ahamiyatsiz so'zlarni o'z ichiga olishi mumkin bo'lgan dialogning butun tarixini kiritish tufayli sub-maqbul ko'rsatkichlardan aziyat chekmoqda (Wang va boshqalar)., 2018). Shunday qilib, biz muammoni quyidagicha shakllantiramiz: qanday qilib biz NLG tizimiga uzoqroq kontekstni kodlashimiz mumkin, shunda algoritm suhbatdagi aniq ma'lumotlarga e'tibor qaratishi mumkin (masalan. muhim mavzular, sub'ektlar), asosan ijtimoiy konventsiyalarni saqlashga xizmat qilishi mumkin bo'lgan suhbat qismlarini tegishli ravishda chegirma bilan (masalan. "ah", "ok" va boshqalar.)?
Ushbu muammoni hal qilish uchun biz kognitiv fanda o'rnatilgan xotira modeli bo'lgan Standard Model (Norris, 2017) ni moslashtiramiz. Ushbu model uzoq muddatli xotirani va qisqa muddatli xotirani (ishlaydigan xotira) kontseptual va amaliy ravishda hal qilish uchun asos yaratadi - suhbatning uzoq kontekstini va yaqin kontekstni o'z ichiga oladi. Model shuningdek, uzoq va qisqa muddatli xotira o'rtasidagi ko'prik vazifasini bajaradigan harakatlarni tanlash mexanizmini taqdim etadi. Bizning ma'lumotimiz bo'yicha, bizning ishimiz birinchi bo'lib NLG tizimini inson ongiga mos ravishda bog'lash uchun standart kognitiv modeldan foydalanadi. Bizning ishimiz quyidagi hissa qo'shadi:
1. Kognitiv ilhom bilan yaratilgan yangi tabiiy til yaratish modeli, u katta kontekstlarni hisobga oladi va uzoq muddatli va ishlaydigan xotira orqali kontekstdan ahamiyatsiz so'zlarni tegishli ravishda chegiradi.
2. Uzoq muddatli xotiradan aniq kontekstni aniqlashga yordam beradigan harakatlarni tanlash mexanizmi, e'tibor mexanizmini moslashtirish.
Bizning yondashuvimiz inson reytingi bilan yuqori bog'liqlikni ko'rsatadigan va uzoq suhbatlarda eng zamonaviy ko'rsatkichlardan ustun bo'lgan kontekstual so'zlarni aniqlay olishini aniqladik.
3 BOShQA ISH
Kognitiv arxitektura miyadagi tuzilmalar va jarayonlarni aniqlaydi va ular o'rtasidagi o'zaro munosabatlarni tushunishga yordam beradi (Newell, 1994; Sun, 2007). Aniqroq qilib aytganda, kognitiv arxitektura idrok etish, ko'rish, harakatlarni tanlash va xotiralardan foydalangan holda bilimlarni saqlash qobiliyati (qisqa va uzoq muddatli) agentlar inson darajasidagi razvedka bilan qanday ishlashini tushunishga yordam beradi (Langli va boshqalar)., 2009; Kotseruba va Tsotsos, 2016). Xotira kognitiv arxitekturada muhim rol o'ynaydi. Standart Model arxitekturasida Deklarativ Xotira epizodik bilimlarni bizning avlod vazifamizga tegishli bo'lgan uzoq muddatli xotiraning bir qismi sifatida saqlaydi. Qisqa muddatli xotira (ishlaydigan xotira) ma'lum bir vazifa uchun tegishli ma'lumotlarni olish, saqlash va qayta ishlash uchun harakatlarni tanlash mexanizmi bilan ishlaydi. Diqqat mexanizmi tegishli ma'lumotlarni, kognitiv arxitekturalarda harakatlarni tanlash shaklini olishga yordam beradi (Bahdanau va boshqalar)., 2014). Muloqotda kontekstual ma'lumotlarni kodlash sifatida kontseptuallashtirilgan xotira tushunchasi ilgari savollarga javob berish tizimlarida o'rganilgan (Suxbaatar va boshqalar)., 2015; Kumar va boshq., 2016). Biroq, muloqotni yaratish uchun xotira tarmoqlaridan foydalanish hali ham yoshligida.
Chuqur o'rganishdan foydalanadigan dialog tizimlari sohasi ham ochiq sohada keng o'rganilgan (Niu & Bansal, 2018; Rashkin va boshqalar)., 2019) va maqsadga yo'naltirilgan vaziyatlar (Lipton va boshqalar)., 2018). Tarkibiy va ierarxik modellar (Serban va boshqalar)., 2016) kontekstdan unumli foydalanish taklif qilindi. Bizning ishimiz Tian va boshqalar bilan eng yaqin bog'liq. (2017), ierarxik usullar kodlash kontekstida ierarxik bo'lmagan modellarga qaraganda yaxshiroq ishlashini namoyish etdi. Biroq, ular kontekst sifatida bitta oldingi so'zga e'tibor qaratdilar va norasmiy so'zlarni hisobga olmadilar. Bundan farqli o'laroq, biz bir nechta ma'lumotli va aniq kontekstli so'zlarni aniqlash uchun harakatlarni tanlashni taklif qilamiz.
4 MODEL ARXITEKTURASI va KORPUS
Bizning modelimiz 1-rasmda keltirilgan - Kognitiv Xotira Arxitekturasi (CMA) deb nomlangan - standart Modeldan ilhomlangan ikki tomonlama xotira kengaytirilgan kodlovchi-dekoder modeli. Model quyidagi tarkibiy qismlardan iborat:
1-rasm: Ikki xotira tarkibiy qismiga ega bo'lgan CMA modelining arxitekturasi, ya'ni kirish so'zini ierarxik tarzda kuchaytiradigan standart kognitsiya modelidan moslashtirilgan uzoq muddatli va ishlaydigan xotira.
Suhbat tarixini saqlaydigan uzoq muddatli xotira. Uzoq muddatli xotiraga kirish Ut so'zlarining tarixiy ketma-ketligi bo'lib, u erda 1≤t≤8. Biz shunchaki soddalashtirilgan taxminni amalga oshiramiz, faqat 8 ta so'z uzoq muddatli xotirada saqlanadi (biz buni 5-bo'limda ko'rib chiqamiz). Bizning yondashuvimizda biz tarixdagi (U) va kirish so'zlari (Q) so'zlarini o'z ichiga olgan jumlaga aylantiramiz (Eq.). 1). Keyinchalik, biz dialog tarixidagi har bir so'zning jumlalarini kiritish va ew so'zning
mujassamlanishini aks ettiruvchi kirish so'zlarini o'z ichiga olgan jumlalar o'rtasidagi o'xshashlikni hisoblaymiz.
eui = X ew, & ek = X ew (1) w witui w withq
Ikkita qo'shimcha parametrni kiritish orqali o'xshashlikni hisoblashni yaxshilaymiz: λ ketma-ketlik tartibini anglatadi (bizning ishimizda 1 ≤ λ ≤ n oralig'ida va n dialog tarixining davomiyligini anglatadi) va τ muvozanatning muvozanat parametrlari bo'lib, nutqdagi so'zlar soni maqsadli so'zning maksimal uzunligiga nisbati. Ekda ushbu qo'shimcha parametrlarni aniqlashda bizning sezgi. 2 shundan iboratki, (a) javob yaratishda diqqatni jalb qilish kerak bo'lgan eng muhim so'zlar dialog tarixining dastlabki qismida bo'lishi mumkin va (b) javobni yaratishda ushbu so'zlar nisbiy ahamiyatga ega bo'lishi kerak.
sui = sim (ui, q) + λ · τ, & (2)
Harakatlarni tanlash - Tarixdagi har bir nutqning nisbiy ahamiyatlilik ballarini so'rov so'zlashiga erishish uchun biz Bahdanau uslubidagi e'tibor mexanizmi (2014) yordamida harakatlarni tanlaymiz
, & (3)
bu erda aui va aq ahamiyatlilik ballini anglatadi va kv 1 bo'ladi, chunki so'rovlar o'xshashligi bir xil vektorga nisbatan hisoblab chiqiladi va t - dialog tarixidagi so'zlar soni.
Ishlaydigan xotira - foydali bo'lmagan so'zlarni tegishli ravishda kamaytirganda, tegishli javobni yaratish uchun zarur bo'lgan so'zlarni saqlaydi. Ishlaydigan xotira Cn so'zlarini saqlaydi, ular Harakatlarni tanlash mexanizmi tomonidan ishlab chiqarilgan eng yuqori ko'rsatkichga ega (3-variant). Kirish moduli va javob berish moduli - Ierarxik Encoder-Decoder arxitekturasiga amal qiling (Serban va boshqalar)., 2016). Biz yakuniy vektorni ishchi xotiradagi so'zlarning au va yuqoridagi 3-tenglamadan olingan aq bilan o'lchanadigan yashirin vektorlarning yig'indisi sifatida hisoblaymiz.
Bizning modelimiz Serban va boshqalar tomonidan MovieTriples corpus-da ishlab chiqilgan va sinovdan o'tgan. (2016). MovieTriples corpus uch tomonlama dialoglarni o'z ichiga oladi. Biz ushbu film uchun barcha uchliklarni birlashtirdik va natijada paydo bo'lgan korpusni 10 ta so'zlashuvning suhbat ketma-ketligiga ajratdik. Har bir ketma-ketlik keyinchalik dialog tarixiga (uzunligi ≤ 8), so'rovlar va maqsadli so'zlarga bo'linadi. Oldindan ishlov berilgandan so'ng, ma'lumotlar to'plami mashg'ulotlarda 42738 ta suhbat va test to'plamlarida 1000 ta suhbatdan iborat edi. Treningda o'tkazilgan muloqot tarixining o'rtacha davomiyligi sinov to'plamida 5,5 va 5,24 ni tashkil etdi.
2 Tajriba va natijalar
Biz taxmin qilamizki, jiddiy ma'lumotlar suhbatning oldingi kontekstida mavjud va ularni faqat bitta yoki ikkita eng so'nggi so'zlarni kontekst sifatida ishlatish mumkin emas. Gipotezamizni sinash uchun miqdoriy dalillarni olish uchun biz sinov ma'lumotlarimizdan tasodifiy tanlangan 120 ta suhbatni izohlash uchun 60 ta izohni jalb qildik. Biz har bir izohlovchidan dialog tarixidagi har bir so'zni uning soddaligi uchun tartiblashni so'radik. Ikkidan ortiq reytingda (Shrout & Fleiss, 1979) o'zaro darajadagi ishonchlilikni o'lchash uchun biz ichki korrelyatsiya koeffitsienti ballaridan foydalandik. Foydalanuvchi tomonidan o'tkazilgan tadqiqotlar natijasida olingan reytinglar yuqori muvofiqlik va kelishuv qiymati 0,88 ga teng (ikkala qiymat ham p-qiymati bilan <0.001).
Uzoq suhbat kontekstining ta'sirini va javob yaratish vazifasidagi tarixiy so'zlarning nozikligini tushunish, biz suhbatlar tarixining uzunligi bo'yicha suhbatlarni 3 guruhga ajratdik: (1) Uzoq - Dialog tarixi uzunligi ≥ 6; (2) O'rta - 4 va 5 uzunlikdagi dialog tarixi; (3) Qisqa - uzunligi ≤ 3 bo'lgan dialog tarixi. Shuningdek, biz tasodifiy tanlangan 120 ta suhbatdan 91 ta suhbat uzoq suhbat tarixiga ega bo'lganligini, 16 tasi O'rta dialog tarixiga va 13 tasi qisqa dialog tarixiga ega ekanligini payqadik. 1-jadvalda suhbat tarixidagi tarixiy so'zlar bilan taqqoslaganda, so'nggi so'zlarning ahamiyati ko'rsatilgan. So'nggi so'rovlar so'rov boshlanishidan oldin darhol ikkita so'zga ishora qiladi. Ilgari utterslar so'rovdan oldin ikkita so'zdan tashqari suhbat tarixidagi so'zlarga ishora qiladi. 1-izoh: Biz inson sharhlovchilarining reytingidan quyidagilarni kuzatamiz: 1) Uzoq va o'rta suhbatlar tarixi uchun atigi 63% atrofida, so'nggi so'zlar suhbat kontekstini yozishda eng jiddiy deb belgilangan. Bu shuni anglatadiki, vaqtning qariyb 36 foizi, aniq ma'lumotlar so'rovdan oldin bir yoki ikkita so'zdan tashqari dialog tarixiga kiritilgan. 2) Qisqa suhbatlar uchun biz suhbat tarixidagi tarixiy nutqlarning 91,67% eng muhim deb nomlanishini aniqladik.
Keyinchalik, biz natijalarimizni Tian va boshqalar tomonidan taklif qilingan zamonaviy model bilan taqqoslaymiz. (2017) chunki ularning ishi biznikiga eng o'xshash ish bo'lib, u kontekst ahamiyatini aniqlash va kodlashga harakat qiladi. 2-rasmda bizning CMA modelimiz va Tian va boshqalarning aniqligi ko'rsatilgan. uchta eng muhim kontekstni aniqlashda model (inson sharhlovchilari tomonidan baholanadi). 2-rasm: Biz rasm yordamida namoyish qilamiz
2 CMA modelining aniq so'zlarni aniqlash va uzoq muddatli muloqot tarixida mavjud bo'lgan zamonaviy usullardan ustun turish qobiliyati (statistik jihatdan ahamiyatli p <0.001, qisqa dialog tarixlarida taqqoslanadigan ko'rsatkichlarga erishish.
Bundan tashqari, 2-jadvalda Spearman va Kendall Tau harakatlarni tanlash mexanizmi va inson reytingi (HR) o'rtasidagi o'zaro bog'liqlik natijalari ko'rsatilgan. 3-izoh: Biz CMA harakatlarni tanlash mexanizmi Tian va boshqalar (2017) tomonidan Uzoq va O'rta dialog tarixiga qaraganda ancha yuqori bo'lganligini ko'ramiz. Bu ketma-ketlikning ketma-ketligi va tartibiga qarab qo'shimcha ahamiyat beradigan λ va τ parametrlarining qo'shilishi bilan bog'liq. Biroq, biz Tian va boshqalar tomonidan taklif qilingan usulni sezamiz.(2017) qisqa dialog tarixi bo'yicha bizning usulimizdan ustundir (garchi bu farq statistik ahamiyatga ega bo'lmagan).

Biz 3-jadvalda mavjud adabiyotlarga mos keladigan BLEU, Xilma-xillik va Uzunlik kabi an'anaviy o'lchovlardan foydalangan holda dialogni yaratish bo'yicha CMA modelining ishlashi to'g'risida hisobot beramiz. 3-jadvalda CMA harakatlarni tanlash mexanizmi bilan aniqlangan aniq kontekstlardan foydalanadigan modelga ishora qiladi, Context Seq2Seq modeli kontekst sifatida eng so'nggi so'zlarni ishlatadi va No Context Seq2Seq hech qanday kontekstni ishlatmaydigan modelga tegishli. Biz xilma-xillikni hisoblash uchun Distinct-1 metrikasidan foydalanamiz, chunki hosil bo'lgan tokenlarning umumiy sonidan farqli unigramlar soni (Li va boshqalar)., 2016). 4-topish: CMA modeli bazalarga qaraganda kamroq farq qiladi (statistik ahamiyatga ega bo'lmasa ham); ammo uzoq, izchil jumlalarni yaratishga qodir va BLEU ballari va uzunligi bo'yicha bazalarni sezilarli darajada oshirib yuboradi.