JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 11. Основы глубокого обучения с подкреплением
461
параметра случайности. Если конкретно, мы будем использовать так называемую 
эпсилон-жадную стратегию
(epsilon­greedy policy), которую можно выразить в псев­
докоде следующим образом:
x = Выборка случайного числа равномерно из интервала от 0 до 1
if x < epsilon:
Выбрать действие случайным образом
else:
qValues = DQN.предсказать(наблюдение)
Выбрать действие, соответствующее максимальному элементу qValues
Эта логика применяется на каждом шаге обучения. Чем больше (ближе к 1) 
значение эпсилон, тем вероятнее, что действие будет выбрано случайным образом. 
И напротив, чем значение эпсилон меньше (ближе к 0), тем выше вероятность того, 
что действие будет выбрано на основе предсказанных DQN Q­значений. Случайный 
выбор действий можно считать исследованием среды, в то время как выбор действий 
с целью максимизации Q­значения называют 
жадным
. Отсюда и возникло название 
эпсилон-жадная
.
Как показано в листинге 11.6, настоящий код TensorFlow.js, реализующий эп­
силон­жадный алгоритм в примере snake­dqn, очень напоминает предыдущий 
псевдокод. Данный код представляет собой фрагмент из файла 
snake-dqn/agent.js
.
Листинг 11.6.
Фрагмент код примера snake-dqn, реализующий эпсилон-жадный алгоритм
Эпсилон­жадная стратегия обеспечивает компромисс между необходимостью 
исследования вначале и необходимостью стабильного поведения впоследствии, для 
чего постепенно уменьшает значение эпсилон с относительно большого до близкого 
(но не равного) нулю. В нашем примере snake­dqn эпсилон линейно уменьшается с 0,5 
до 0,01 за первые 1 
×
105 шагов обучения. Учтите, что мы не уменьшаем эпсилон до са­
мого нуля, поскольку даже на продвинутых этапах обучения агента нужна некоторая 
доля исследования для поиска новых интересных ходов. В задачах RL, основанных 
на эпсилон­жадной стратегии, начальное и конечное значения эпсилон играют роль 
настраиваемых гиперпараметров, как и скорость уменьшения его значения.
После закладки фундамента нашего алгоритма Q­обучения в виде эпсилон­жад­
ной стратегии, перейдем к подробностям обучения DQN.

---

462