JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 11. Основы глубокого обучения с подкреплением
463
Рис.
 11.14.
Получение предсказанных Q-значений из воспроизводимой памяти и
динамической DQN. Это первый из двух компонентов 
обучения с
учителем в
алгоритме обучения DQN. Результат этого технологического процесса, actionQs,
— предсказанные DQN Q-значения
— 
представляет собой один из двух аргументов вместе с
tar
getQs, участвующих в
вычислении потерь MSE. См. технологический процесс 
вычисления tar
getQs на рис. 11.15

---

464
Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
Листинг 11.7.
Извлечение батча предсказанных Q-значений из воспроизводимой памяти
В результате этих операций мы получаем тензор 
actionQs
формы 
[N]
, где 
N
— 
размер батча. Он и представляет собой искомое Q­значение, то есть предсказанное 
значение 
Q
(
s,
a
) для состояния 
s
, в котором мы находились, и фактически выпол­
ненного действия 
a
. Далее мы поговорим о получении целевых Q­значений.
Извлечение целевых Q-значений: применяем уравнение Беллмана
Получить целевые Q­значения несколько сложнее, чем предсказанные. Здесь мы 
воспользуемся на практике теоретическим уравнением Беллмана. Напомним, что 
уравнение Беллмана описывает Q­значение пары «состояние — действие» на основе 
двух элементов: 1) немедленного вознаграждения и 2) максимального Q­значения, 
которого можно добиться из состояния следующего хода (дисконтированное в соот­
ветствии с коэффициентом). Проще получить первый из них, поскольку он доступен 
в виде третьего элемента воспроизводимой памяти, что показано на рис. 11.15 в виде 
rewardTensor
.
Для вычисления второго (максимального Q­значения для следующего хода) нам 
понадобится наблюдение состояния со следующего хода. К счастью, наблюдение со­
стояния со следующего хода хранится в пятом элементе воспроизводимой памяти. 
Мы берем наблюдение состояния следующего хода нашего выбранного случайным 
образом батча, преобразуем его в тензор, пропускаем через копию DQN — так назы­
ваемую 
целевую DQN
(рис. 11.15) — и получаем оценки Q­значений для состояний 
следующего хода. После этого вызываем функцию 
max()
по последнему измерению 
(измерению батчей) и получаем максимальные Q­значения, достижимые из состоя­
ния следующего хода (тензор 
nextMaxQTensor
в листинге 11.8). Согласно уравнению 
Беллмана умножаем это максимальное значение на коэффициент дисконтирования 
(
γ
на рис. 11.15 и 
gamma
в листинге 11.8) и в сочетании с немедленным вознагражде­
нием получаем целевые Q­значения (
targetQs
на схеме и в коде).

---