JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 11. Основы глубокого обучения с подкреплением
437
запоминает удачные варианты и чаще использует их в будущем. Но найти такие 
удачные варианты не удастся, если не разрешить агенту пробовать случайным об­
разом. При выборе детерминированного подхода с пороговым значением модель 
«застрянет» в самом начале.
Это приводит нас к классическому и очень важному вопросу RL: 
исследовать
или 
использовать
(exploration versus exploitation)? Под 
исследованием
в этом контексте 
понимаются случайные пробы, с его помощью агент RL находит удачные варианты 
действий. Под 
использованием
понимаются усвоенные агентом оптимальные реше­
ния, максимизирующие вознаграждение. Эти два режима работы несовместимы друг 
с другом. Поиск равновесия между ними критически важен для создания хорошо ра­
ботающих алгоритмов обучения с подкреплением. Сначала необходимо исследовать 
широкий спектр возможных стратегий, но по мере схождения алгоритма к лучшим 
стратегиям нужно реализовать более точный их подбор. Поэтому по мере обучения во 
многих алгоритмах степень исследования обычно постепенно сокращается. В задаче 
удержания равновесия шеста на тележке такое сокращение производится функцией 
выборки 
tf.multinomial()
неявно, в результате все большей детерминированности 
исходов по мере роста уровня уверенности модели в ходе обучения.
Листинг 11.1 (фрагмент из 
cart-pole/index.js
) демонстрирует вызовы Ten­
sorFlow.js, создающие сеть стратегий. Код в листинге 11.2 (также фрагмент из 
cart-
pole/index.js
) преобразует выходной сигнал сети стратегий в действия агента, 
а также возвращает логиты для целей обучения. Связанный с моделью код здесь 
не слишком отличается от кода моделей обучения с учителем в предыдущих главах.
Листинг 11.1.
Сеть стратегий MLP: выбираем действия на основе наблюдений
Принципиальное отличие состоит в отсутствии здесь набора маркированных 
данных, которые можно было бы использовать, чтобы обучить модель тому, какие 
варианты выбираемых действий удачны, а какие — нет. При наличии подобного набо­
ра данных для решения задачи можно было бы просто вызвать 
fit()
и 
fitDataset()
сети стратегий, как мы делали для моделей в предыдущих главах. Но раз такого 
набора у нас нет, агент должен сам выяснять, какие действия удачные, играя в игру 

---

438