JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
научиться не натыкаться на свое тело, что усложняется по мере того, как змейка 
поедает фрукты и становится все длиннее. Этот аспект делает задачу обучения 
с подкреплением змейки нестатической, в отличие от среды «тележка — шест», как 
мы упоминали в конце предыдущего раздела.
Рис. 11.9.
Игра «Змейка»: доска, на которой игрок управляет змейкой, поедающей фрукты. 
«Цель» змейки — съесть как можно больше фруктов благодаря оптимальной траектории движения. 
С каждым съеденным фруктом длина змейки увеличивается на одну клетку. Игра завершается 
(змейка «умирает»), как только змейка выходит за границы (блок Б) или натыкается на свое 
собственное тело (блок В). Обратите внимание, как в блоке Б голова змейки достигает границы, 
после чего движется вперед (прямо), в результате чего игра завершается. Если змейка просто 
достигает клеток на границе, игра сразу не завершается. Поедание всех фруктов приводит 
к большому положительному вознаграждению. Перемещение на одну клетку без поедания фрукта 
приводит к меньшему по модулю отрицательному вознаграждению. Завершение игры («гибель» 
змейки) также вызывает отрицательное вознаграждение
Таблица 11.2 описывает задачу змейки в канонической постановке задач RL. 
Таблица 11.2.
Описание задачи змейки в канонической постановке RL
Абстрактное 
понятие RL
Воплощение в задаче змейки
Среда
Игровая доска, включающая движущуюся змейку и пополняющийся сам 
собой запас фруктов
Действие
(Дискретное.) Выбор из трех действий: двигаться прямо, повернуть 
налево или повернуть направо
Вознаграждение
(Частое, смешанно положительно­отрицательное):
• поедание фрукта приносит большое положительное вознаграждение 
(+10);
• перемещение без поедания фрукта приносит небольшое 
отрицательное вознаграждение (–0,2);
• гибель змейки — большое отрицательное вознаграждение (–10)
Наблюдение
(Полное состояние, дискретное.) На каждом ходе агент обладает 
доступом к полному состоянию системы: видит состояние всех клеток 
доски

---