JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
Упражнения
1. В примере тележки с шестом использовалась сеть стратегий, состоящая из 
скрытого слоя с 128 нейронами, в соответствии с настройками по умолчанию. 
Как влияет этот гиперпараметр на обучение, в основе которого лежит градиент­
ный спуск по стратегиям? Попробуйте поменять его на небольшое значение, 
например 4 или 8, и сравните полученную кривую обучения (кривую зависимо­
сти среднего количества ходов на игру от итерации) с аналогичной кривой при 
размере скрытого слоя по умолчанию. Какой вывод можно сделать из этого 
о связи между разрешающими возможностями модели и эффективностью оцен­
ки ею наилучшего действия?
2. Мы уже упоминали, что одно из преимуществ решения задач наподобие тележки 
с шестом с помощью машинного обучения — экономия затрат человеческого 
труда. А именно, при неожиданном изменении среды не нужно выяснять, 
как
именно она изменилась, и перерабатывать физические уравнения. Вместо этого 
достаточно повторного обучения агента. Убедитесь, что это так, по следующему 
алгоритму. Во­первых, запустите пример cart­pole из исходного кода, а не с веб­
страницы на сервере. Обучите соответствующую сеть стратегий с помощью обыч­
ного подхода. Во­вторых, поменяйте значение 
this.gravity
в файле 
cart-pole/
cart_pole.js
на новое (скажем, 12, чтобы притвориться, что мы перенесли нашу 
тележку с шестом на другую планету, с большей силой тяжести, чем на Земле!). 
Запустите страницу снова, загрузите обученную на первом шаге сеть стратегий 
и попробуйте ее в работе. Можно ли сказать, что она работает намного хуже, чем 
раньше, просто из­за повышенной силы тяжести? Наконец, обучите сеть стратегий 
на протяжении еще нескольких итераций. Начинает ли она снова играть лучше 
(приспосабливается к новой среде)?
3. (Упражнение, посвященное марковским 
процессам принятия решений и уравне­
нию Беллмана.) Представленный в под­