JavaScript для глубокого обучения 2021 TensorFlow js Ббк

468
Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
Рис.
 11.16.
Объединяем actionQs и
tar
getQs для вычисления погрешности предсказания meanS
quar
edErr
or динамической DQN и
дальнейшего 
обновления весовых коэффициентов путем обратного распространения ошибки. Большую часть этой схемы вы уже видели на рис. 11.14 и 
11.15. Были добавлены только функция потерь meanS
quar
edErr
or и
шаг обратного распространения ошибки на ее основе в
нижней правой 
части схемы

---

Глава 11. Основы глубокого обучения с подкреплением
469
Листинг 11.9.
Основная функция, отвечающая за обучение DQN
На рис. 11.17 приведен набор типичных кривых процесса обучения из журналов. 
Как это часто встречается в обучении с подкреплением, кривые 
cumulativeReward100
и 
eaten100
демонстрируют колебания. После нескольких часов обучения модель до­
стигнет наилучшего значения 
cumulativeReward100
70–80 и наилучшего значения 
eaten100
примерно 12.
Обучающий сценарий также сохраняет модель по относительному пути 
./models/
dqn
при всяком достижении нового наилучшего значения 
cumulativeReward100
. 
При выполнении команды 
yarn watch
сохраненная модель выдается в веб­версии 
клиентской части. Клиентская часть отображает Q­значения, предсказываемые 
DQN на каждом ходе игры (см. рис. 11.18). Применяемую во время обучения эпси­
лон­жадную стратегию при игре после обучения заменяет всегда жадная стратегия. 
В качестве действия змейки всегда выбирается действие, соответствующее макси­
мальному Q­значению (например, 33,9 — двигаться прямо — на рис. 11.18). Из таких 
графиков понятно на интуитивном уровне, как DQN играет в игру.

---