JavaScript для глубокого обучения 2021 TensorFlow js Ббк

разделе 11.3.2 и на рис. 11.10 пример 
MDP был прост в смысле полного его 
детерминизма, поскольку в переходах 
между состояниями и соответствующих 
вознаграждениях никакой стохастично­
сти не было. Но многие реальные задачи 
лучше описываются с помощью стохасти­
ческих (случайных) MDP. В стохасти­
ческом марковском процессе состояние, 
в котором оказывается агент, и полу­
чаемое им вследствие действия возна­
граждение описывается вероятностным 
распределением. Например, как демон­
стрирует рис. 11.19, если агент выполняет 
действие 
a
1
в состоянии 
s
1
, то с вероят­
Рис. 11.19.
Схема марковского процесса 
принятия решений в первой части 
упражнения 3

---

Глава 11. Основы глубокого обучения с подкреплением
473
ностью 0,5 оказывается в состоянии 
s
2
, и с вероятностью 0,5 же — в состоянии 
s
3
. 
Соответствующие этим двум переходам вознаграждения различаются. В подобных 
стохастических MDP агенту необходимо учитывать случайность посредством 
вычисления 
ожидаемого
будущего вознаграждения. Ожидаемое будущее воз­
награждение представляет собой взвешенное среднее значение всех возможных 
вознаграждений, в котором веса выражают вероятности. Попробуйте применить 
этот вероятностный подход и оценить Q­значения для 
a
1
и 
a
2
в состоянии 
s
1
на 
рисунке. Согласно полученному вами ответу какое действие лучше выполнить 
в состоянии 
s
1
: 
a
1
или 
a
2
?
Теперь рассмотрим несколько более сложный стохастический марковский 
процесс принятия решений, состоящий из нескольких шагов (рис. 11.20). В этом 
чуть более сложном случае необходимо использовать рекурсивное уравнение 
Беллмана для учета наилучших возможных будущих вознаграждений после 
первого действия, которые сами являются стохастическими. Учтите, что иногда 
эпизод завершается после первого шага, а иногда — после второго. Можно ли 
определить, какое действие лучше будет выполнить в состоянии 
s
1
? Для этой 
задачи используйте коэффициент дисконтирования 0,9.
Рис. 11.20.
Схема марковского процесса принятия решений во второй части упражнения 3
4. В примере snake­dqn мы применяли эпсилон­жадную стратегию для получения 
оптимального соотношения исследования/использования. При настройках 
по умолчанию эпсилон уменьшается от начального значения 0,5 до конечного 

---

474