Mavzu: Beamsearch Ishdan maqsad: Beamsearch haqida tushunchaga ega bulish. Masalaning qo’yilishi

Mavzu: Beamsearch

Ishdan maqsad: Beamsearch haqida tushunchaga ega bulish .

Masalaning qo’yilishi: Beamsearch ishlash prinsipi.

Beam Search — A Search Strategy

Beam Search - bu yuqoridagi iborani ehtimollik uchun maksimal darajaga ko'tarish uchun ishlatiladigan algoritm. Oldinga o'tishdan oldin algoritm uchun parametr kengligini (B), ehtimol bir vaqtning o'zida n so'zlarni hisobga oladigan parametrni aniqlaymiz. Agar dekoder y <1> chiqsa, u 10000 birlik uchun yumshoq dastur bo'ladi (so'z birikmalarida 10k so'z mavjudligini hisobga olgan holda). Biz eng katta n harfdan iborat bo'lgan so'zlarni tanlaymiz. Oddiylik uchun nur kengligini (B) = 3 deb hisoblaymiz.Beam qidirishning birinchi usuli - bu maksimal ehtimolligi bo'lgan ingliz tilidagi tarjimaning dastlabki 3 (B = 3) so'zlarini tanlash (bosh harflarni hisobga olmaganda). P1 (y <1> | a ) ehtimollik ifodasini dekoderlar ketma-ketligining birinchi bosqichi natijasini hisoblash uchun ishlatamiz. Ushbu ifoda, a berilgan, lug'atdagi barcha so'zlarning y <1> uchun ehtimoli nima ekanligini anglatadi. Keling, ushbu model eng inglizcha so'zlarni tanlab olganini ko'rib chiqaylik, chunki ular uchun eng yuqori ehtimollik bor.

Tegishli natijalarga erishish uchun nurni qidirish qo'llaniladigan holatlardan biri bu Machine Translation hisoblanadi. Mashina tarjimasi bilan tanish bo'lmaganlar uchun, albatta, Google Tarjimon nima ekanligini bilishingiz kerak, Tizim Beam Search texnikasidan foydalanishi mumkin bo'lgan nomzodlarning eng kerakli tarjimasini aniqlash uchun foydalanadi. Ushbu strategiyani "Machine Translation" dasturining aproposlarini ko'rib chiqaylik. Agar siz biron bir ajoyib izlanishlar ortida chizib tashlashni yaxshi ko'radigan bo'lsangiz, unda biron bir joyda Google Mashina tarjimasi Neural Networks-ning dekoder-arxitekturasi asosida qurilganligini o'qigan bo'lsangiz kerak. Mashinani tarjima qilish modelini "Shartli til modeli" deb hisoblash mumkin, chunki frantsuzchani inglizchaga tarjima qiladigan tizim uchun ushbu modelni frantsuzcha jumlasiga asoslangan inglizcha jumlalar ehtimoli haqida o'ylash mumkin.Bizning modelimizning ehtimoliy xatti-harakati tufayli frantsuzcha jumlalarni kiritish uchun bir nechta tarjimalar bo'lishi mumkin. Tasodifiy ravishda birini tanlab olishimiz kerakmi? Albatta, YO'Q. Biz eng munosib tarjimani qidirib topmoqdamiz (ya'ni kirish so'zlari bo'yicha chiqish so'zlari bo'yicha qo'shilish ehtimolligini oshirish).

Berilgan frantsuzcha jumla uchun inglizcha tarjimasini quyidagicha ko'rib chiqing -

Tarjima 1: Men Nyu-Yorkka shu yil oxirida tashrif buyuraman.

2-tarjima: Men shu yil oxirida Nyu-Yorkka tashrif buyuraman.

Ingliz tilini va umuman qoidalarni hisobga olsak,

P (borish | i, am)> P (tashrif | i, am)

Agar siz kengroq yondashsangiz, unda 1-chi o'rniga tarjimaning 2-variantini tanlashingiz mumkin, chunki "men" dan keyin "borish" ehtimoli "tashrif" ga qaraganda so'zlardagi mumkin bo'lgan so'zlarning tarqalishidan maksimal bo'lishi kerak.

Beam Search - bu samarali usul bilan echishga harakat qiladigan taxminiy qidiruv strategiyasi. Eng sodda tarzda B (nur kengligi) tarjima natijalarini o'zgartirish uchun sozlanadigan yagona giper-parametrdir. Umuman B imkoniyatlarni o'zgartirish uchun har bir qadamda xotirada saqlanadigan so'zlar sonini belgilaydi.

Beam Search-ga 2 qadam

Biz buni har bir bosqich darajasida misol bilan ko'rsatamiz.

1 – qadam