Я. Гудфеллоу, И. Бенджио, А. Курвилль



Download 14,23 Mb.
Pdf ko'rish
bet496/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   492   493   494   495   496   497   498   499   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

405
политикой
. Петля обратной связи между обучаемым и распределением данных (ко-
торое теперь зависит от действий обучаемого) – центральный вопрос в литературе по 
обучению с подкреплением и бандитам.
Для обучения с подкреплением требуется выбрать компромисс между 
исследова-
нием
(exploration) и 
использованием
(exploitation). Под использованием понимается 
выполнение действий, вытекающих из текущей наилучшей версии обученной поли-
тики, – действий, которые, как мы знаем, повлекут за собой большое вознаграждение. 
А исследование – это выполнение действий, направленных специально на получе-
ние дополнительных обучающих данных. Если мы знаем, что при данном контексте 
x
действие 
a
принесет вознаграждение 1, то это еще не значит, что это максимально 
возможное вознаграждение. Мы можем использовать текущую политику и продол-
жать выполнять действие 
a
, чтобы более-менее гарантированно получить вознаграж-
дение 1. Но можем и заняться исследованием, попробовав действие 
a

. Мы не знаем, 
что произойдет, если выполнить действие 
a

. Мы надеемся получить вознаграждение 
2, но рискуем остаться с вознаграждением 0. Но в любом случае приобретем какие-то 
знания.
Есть разные способы реализации исследования: можно время от времени пред-
принимать случайные действия в расчете охватить все пространство возможных 
действий, а можно положить в основу модель, которая вычисляет действие в зависи-
мости от ожидаемого вознаграждения и заложенной в модель степени неопределен-
ности этого вознаграждения.
Что предпочесть – исследование или использование, зависит от многих факторов. 
Один из самых важных – интересующий нас временной масштаб. Если у агента име-
ется ограниченное время для накопления вознаграждения, то мы предпочли бы ис-
пользование. Если же времени достаточно, то стоит начать с исследования, чтобы 
планировать будущие действия более эффективно, опираясь на полученные знания. 
Обучив достаточно хорошую политику, можно переходить к использованию.
В обучении с учителем не нужно выбирать между исследованием и использовани-
ем, потому что сигнал от учителя всегда говорит, какой выход правилен для данного 
входа. Нет нужды пробовать различные выходы, чтобы понять, удастся ли улучшить 
текущий оптимальный выход модели, – мы заведомо знаем, что лучшим выходом яв-
ляется метка.
Помимо компромисса между исследованием и использованием, в контексте обуче-
ния с подкреплением возникает еще одна трудность: оценка и сравнение различных 
политик. Обучение с подкреплением предполагает взаимодействие между обучае-
мым и окружением. Эта петля обратной связи означает, что нельзя просто оценить 
качество обучаемой системы, пользуясь фиксированным тестовым набором вход-
ных значений. Сама политика определяет, какие входы будут предъявлены. В работе 
Dudik et al. (2011) представлены методы оценки контекстуальных бандитов.

Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   492   493   494   495   496   497   498   499   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish