JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 8. Недообучение, переобучение и универсальный процесс ML
331
переобучения. Он подходит и для борьбы с переобучением в данной задаче пред­
сказания температуры. Можете убедиться в этом сами, выбрав тип модели 
MLP with 
Dropout
(MLP с дропаутом) в UI демонстрации. Качество обучения модели при MLP 
с дропаутом сравнимо с L2­регуляризованным MLP. В подразделе 4.3.2 мы уже 
обсуждали, как и почему дропаут работает, так что не станем повторяться. Приве­
дем, однако, в табл. 8.1 краткий обзор чаще всего используемых средств для борьбы 
с переобучением. Он включает интуитивно понятное описание работы каждого из 
них и соответствующего API TensorFlow.js. Выбрать средство для конкретной задачи 
можно: 1) следуя примеру хорошо зарекомендовавших себя моделей, применяемых 
для решения аналогичных задач; 2) рассматривая его как гиперпараметр, с поиском 
нужного путем оптимизации гиперпараметров (см. подраздел 3.1.2). Кроме того, 
у каждого из методов снижения переобучения есть настраиваемые параметры, подби­
раемые в процессе оптимизации гиперпараметров (см. последний столбец табл. 8.1).
TensorFlow.js_Название_метода_Описание_работы_метода_Соответствующий_API'>Таблица 8.1.
Обзор широко используемых методов снижения переобучения в TensorFlow.js
Название метода Описание работы 
метода
Соответствующий API 
TensorFlow.js
Основной (-ые) 
свободный (-е) 
параметр (-ы)
L2­регуляризатор
Весовому коэффициенту 
придается положительное 
значение потерь (штраф) 
путем вычисления 
суммы квадратов 
значений. Таким образом 
поощряются меньшие 
значения параметров
tf.regularizers.l2()
См., например, 
подраздел 8.2.3
Коэффициент 
L2­регуляризации
L1­регуляризатор
Подобно 
L2­регуляризаторам, 
поощряются меньшие 
весовые параметры. 
Однако значение потерь 
придается весовому 
коэффициенту на основе 
абсолютных значений
параметров, а не суммы 
квадратов. Подобное 
определение потерь для 
регуляризации приводит 
к большему числу нулевых 
параметров весов (то есть 
«большей разреженности 
весов»)
tf.regularizers.l1()
Коэффициент 
L1­регуляризации
Сочетание L1­ 
и L2­регуляриза­
торов
Взвешенная сумма потерь 
L1­ и L2­регуляризации
tf.regularizers.l1l2()
Коэффициент 
L1­регуляризации, 
коэффициент 
L2­регуляризации
Продолжение 


---