JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
и анализируя получаемые вознаграждения. Другими словами, он должен «учиться 
плавать, плавая» — ключевая особенность задач RL. Далее мы во всех подробностях 
рассмотрим, как это происходит.
Листинг 11.2.
Определение логитов и действий по выходному сигналу сети стратегий
11.2.3. Обучение сети стратегий: алгоритм REINFORCE
Основной вопрос теперь: как вычислить, какие действия удачные, а какие — нет. 
После ответа на него можно обновить весовые коэффициенты сети стратегий так, 
чтобы повысить вероятность выбора удачных действий в будущем, подобно обучению 
с учителем. На ум сразу приходит возможность оценки удачности действий на основе 
вознаграждений. Но вознаграждения в задаче удержания равновесия шеста на тележке 
отличаются: 1) фиксированным значением (
1
) и 2) получением агентом вознаграждения 
на каждом шаге, вплоть до завершения эпизода. Поэтому нельзя просто воспользоваться 
пошаговым вознаграждением в качестве метрики, иначе все действия будут считать­
ся одинаково удачными. Необходимо учитывать длительность эпизодов.
«Наивный» подход состоит в суммировании всех вознаграждений эпизода и вы­
яснении таким образом его длительности. Но хорошо ли такая сумма позволяет 
оценить действия? Несложно понять, что она здесь не подходит. Причина в ходах 
в конце эпизода. Представьте себе длительный эпизод, когда агент прекрасно ба­
лансирует системой «шест — тележка» почти до самого конца, затем выбирает не­
сколько неудачных вариантов, в результате чего эпизод завершается. При «наивном» 
подходе с суммированием у неудачных действий в конце эпизода и удачных пред­
шествующих действий окажутся одинаково хорошие оценки. Нам же хотелось бы 
присвоить более высокие оценки действиям в начале и середине эпизода и более 
низкие — действиям в конце эпизода.
Это приводит нас к простой, но играющей важную в RL роль идее 
дисконтирова-
ния вознаграждений
(reward discounting): величина для конкретного хода должна 
равняться немедленному вознаграждению плюс ожидаемое в будущем вознагра­

---