JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
Основные отличия этой системы от вышеприведенного классификатора.
z
z
За время игрового эпизода модель вызывается несколько раз (на каждом вре­
менном шаге).
z
z
Выходной сигнал модели (выходной сигнал из прямоугольника «Сеть стратегий» 
на рис. 11.4) представляет собой логиты, а не оценки вероятности. Далее логиты 
преобразуются в оценки вероятности с помощью сигма­функции. Но мы не вклю­
чаем нелинейность в виде сигма­функции в последний (выходной) слой сети стра­
тегий, поскольку для обучения нам понадобятся логиты, как вы скоро увидите.
z
z
Вероятности на выходе сигма­функции необходимо преобразовать в конкретное 
действие (приложение силы вправо/влево). Для этого служит вызов функции 
tf.multinomial()
, производящей случайную выборку. Как вы помните, мы ис­
пользовали функцию 
tf.multinomial()
в главе 10, при выборке следующего сим­
вола на основе вероятностей символов алфавита из многомерной логистической 
функции. Сейчас все немного проще, поскольку необходимо выбрать один из 
всего двух вариантов.
Рис. 11.4.
Решение задачи удержания равновесия шеста на тележке с помощью сети стратегий. 
Данная сеть стратегий представляет собой модель TensorFlow.js, выдающую на выходе вероятность 
действия «приложение силы влево» при векторе наблюдений (x, x', 
θ
и 
θ
') в качестве входного 
сигнала. Вероятность преобразуется в нужное действие путем случайной выборки
Последний из этих пунктов влечет за собой более серьезные последствия. Мы ведь 
могли
бы преобразовать выходной сигнал функции 
tf.sigmoid()
непосредственно 
в действие с помощью порогового значения (например, выбирать действие при­
ложения силы влево, когда выходной сигнал сети больше 0,5 и вправо в противном 
случае). Почему же мы предпочли этому простому подходу более сложный вариант 
со случайной выборкой с помощью функции 
tf.multinomial()
? Дело в том, что нам 
нужна
стохастичность функции 
tf.multinomial()
. В самом начале обучения сеть 
стратегий не имеет понятия, как выбрать направление приложения силы, посколь­
ку начальные значения весов задаются случайным образом. Благодаря случайной 
выборке сеть поощряется выполнять случайные действия и находить среди них 
те, что обеспечивают наилучшие результаты. Одна часть этих случайных проб де­
монстрирует не слишком хорошие результаты, а другая — хорошие. Наш алгоритм 

---