JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 11. Основы глубокого обучения с подкреплением
433
11.2.1. Удержание шеста в равновесии в тележке 
как задача обучения с подкреплением
Прежде чем продолжать, рекомендуем вам поэкспериментировать с примером cart­
pole, чтобы хорошенько прочувствовать задачу. Она достаточно проста для модели­
рования и обучения модели в браузере. На рис. 11.3 задача удержания равновесия 
шеста в тележке изображена наглядно, аналогичную картинку вы можете найти на 
странице, которая откроется после выполнения команды 
yarn
watch
. Для извлечения 
и запуска примера выполните следующие команды:
git clone https://github.com/tensorflow/tfjs-examples.git
cd tfjs-examples/cart-pole
yarn && yarn watch
Нажмите кнопку 
Create Model
(Создать модель), а затем кнопку 
Train
(Обучить). 
Внизу страницы появится анимация, демонстрирующая необученный агент, удер­
живающий шест в равновесии в тележке. Поскольку весовые коэффициенты модели 
агента были инициализированы случайными значениями (больше о модели мы рас­
скажем позднее), сначала он не слишком хорошо решает эту задачу. В терминологии 
обучения с подкреплением все временные шаги от начала до конца игры иногда 
в совокупности называются 
эпизодом
(episode). Мы будем использовать здесь по­
переменно термины 
«игра»
и 
«эпизод»
.
Рис. 11.3.
Наглядная иллюстрация задачи по удержанию равновесия шеста в тележке. Блок A: 
состояние среды и наблюдение составляют четыре физические величины (местоположение 
тележки 
x, скорость тележки x', угол наклона шеста 
θ
и угловая скорость шеста 
θ
'). На каждом 
временном шаге агент может выбрать, приложить ли ему направленную вправо или влево силу, 
в результате чего состояние среды поменяется соответствующим образом. Блоки Б и В: два 
условия завершения игры — выход тележки за правую/левую границу (Б) или слишком сильный 
наклон шеста от вертикального положения (В)

---

434