Mavzu: Beamsearch Ishdan maqsad: Beamsearch haqida tushunchaga ega bulish. Masalaning qo’yilishi

Beam Search-1-qadamning bir qismi sifatida dekodlovchi tarmog'i eng yuqori B ehtimolliklarning Softmax-ni ishlab chiqadi va ularni xotirada saqlaydi. Aytaylik, boraman, tashrif buyuraman, bu uchta eng yaxshi so'z.

2 - qadam

Beam Search-2-qadamning bir qismi sifatida biz Y1-ni dekoder tarmog'iga ulaymiz va agar Y1 ro'y bergan bo'lsa, keyingi so'zni taxmin qilishga harakat qilamiz.Bizning maqsadimiz Y1 va Y2 ning birgalikda sodir bo'lish ehtimolini oshirish.

P (Y1, Y2 | X) = P (Y1 | X) * P (Y2 | X, Y1)

Bu erda X = x1, x2…. xn (kirishdagi barcha so'zlar)

3 - qadam

3-bosqichda yana ishlash uchun biz 2-bosqichdan eng yuqori B (Y1, Y2) juftliklarini olamiz va ularni dekoder tarmog'iga ulaymiz va Y3-ning shartli ehtimolini topishga harakat qilamiz. ya'ni P (Y3 | X, Y1, Y2)

Oldingi 2 bosqichga o'xshab biz yana eng yuqori B ehtimol 3 ta so'z ketma-ketligini va boshqalarni topamiz. Biz ushbu jarayonni ga erishguncha ushlab turamiz.

B ga izoh beraylik

Agar biz B = 1 belgisini qo'ysak, unda Greedy Search bilan bir xil.

B darajasi kattaroq bo'lsa, chiqish tartibini yaxshilash uchun yaxshi imkoniyat bo'ladi, lekin ko'proq resurslar va hisoblash quvvatini iste'mol qiladi.

Kichik B, unchalik yaxshi natijalarga ega emas, lekin tez va xotirada samarali.