JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
z
z
Помимо вознаграждения, агент может получать информацию о состоянии среды 
через другой канал, а именно 
наблюдение
(observation). Видимым агенту может 
быть полное состояние среды или только его часть, возможно искаженная из­за 
низкого качества канала. Наблюдения нашего собирающего мусор робота пред­
ставляют собой потоки изображений и сигналов с камер и различных датчиков 
на его корпусе.
Рис. 1
1.2.
Схематическая иллюстрация простейшей постановки задач обучения с подкреплением. 
На каждом шаге агент выбирает одно из возможных действий, меняющих состояние среды. 
Среда вознаграждает агент в соответствии с текущим состоянием и выбранным действием. 
Агент полностью или частично наблюдает состояние среды и использует полученную 
информацию для принятия решений о дальнейших действиях
Только что описанная постановка задачи несколько абстрактна. Взглянем на 
конкретные примеры задач обучения с подкреплением, чтобы прочувствовать 
спектр охватываемых этой формулировкой возможностей. В процессе этого мы 
также приведем классификацию всех существующих задач RL. Во­первых, рас­
смотрим действия. Пространство, из которого агент выбирает действия, может 
быть дискретным или непрерывным. Например, пространства действий у агентов 
RL, предназначенных для настольных игр, обычно дискретные в силу конечности 
возможных ходов. Однако задача RL управления ходьбой на двух ногах виртуаль­
ного человекоподобного робота
1
требует непрерывного пространства действий, 
поскольку моменты сил в его шарнирах представляют собой непрерывные вели­
чины. Пространства действий в примерах задач, которые мы рассмотрим в этой 
главе, дискретны. Учтите, что в некоторых задачах RL непрерывные пространства 
действий можно превратить в дискретные посредством дискретизации. Напри­
мер, агент для игры StarCraft II компании DeepMind разбивает двумерный экран 
в высоком разрешении на прямоугольники, чтобы определить, куда двигать юниты 
и где начинать атаки
2
.
1 
См. среду Humanoid OpenAI по адресу https://gym.openai.com/envs/Humanoid­v2/.
2 
Vinyals O. et al.
StarCraft II: A New Challenge for Reinforcement Learning // submitted 
16 Aug. 2017. https://arxiv.org/abs/1708.04782.

---