JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 3. Вводим нелинейность: теперь не только взвешенные суммы
125
ИНФОБОКС 3.1. Поддерживаемые TensorFlow.js оптимизаторы
В следующей таблице приведен краткий список API наиболее используемых типов 
оптимизаторов в TensorFlow.js, а также простое и интуитивно понятное описание 
каждого из них.
Распространенные оптимизаторы и их API в TensorFlow.js
Название
API 
(строковое 
значение)
API (функция) Описание
Стохастический 
градиентный 
спуск (SGD)
'sgd'
tf.train.sgd
Простейший оптимизатор, роль 
множителя для градиентов всегда 
играет скорость обучения
Метод 
накопления 
импульса
'momentum' tf.train.
momentum
Предыдущие градиенты 
накапливаются таким образом, что 
обновление весовых параметров 
происходит быстрее, если предыдущие 
градиенты для конкретного параметра 
выстраиваются в одном направлении, 
и медленнее, когда они часто меняют 
направление
RMSProp
'rmsprop'
tf.train.
rmsprop
Для различных весовых параметров 
модели множитель масштабируется 
по­разному за счет отслеживания 
недавней истории изменений 
среднеквадратического (RMS) 
значения градиента каждого из весов; 
отсюда и название
AdaDelta
'adadelta' tf.train.
adadelta
Скорость обучения для каждого из 
весовых параметров масштабируется 
аналогично RMSProp
ADAM
'adam'
tf.train.adam
Можно рассматривать как сочетание 
подхода адаптивной скорости 
обучения и метода накопления 
импульса
AdaMax
'adamax'
tf.train.
adamax
Аналогичен ADAM, но величины 
градиентов отслеживаются с помощью 
несколько иного алгоритма
Возникает очевидный вопрос: какой оптимизатор использовать для конкретной задачи 
машинного обучения и модели. К сожалению, в сфере глубокого обучения единого мне­
ния по этому поводу пока нет (именно поэтому TensorFlow.js предоставляет все пере­
численные в предыдущей таблице оптимизаторы!). На практике имеет смысл начинать 
с наиболее популярных, включая 
adam
и 
rmsprop
. При наличии достаточного количества 
свободного времени и вычислительных ресурсов вы можете считать оптимизатор еще 
одним гиперпараметром и найти его вариант, обеспечивающий наилучший результат 
обучения, путем подстройки гиперпараметров (см. подраздел 3.1.2).

---

126