JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
Типичные подходы к этому включают добавление в модель дополнительных слоев 
(с нелинейными функциями активации) и увеличение размера слоев (например, числа 
нейронов в плотном слое). Так что давайте добавим скрытый слой в наш линейный 
регрессор и посмотрим, насколько лучше станет работать получившийся MLP.
8.2.2. Переобучение
Создающая MLP­модели функция приведена в листинге 8.3 (из файла 
jena-weather/
index.js
). Создаваемый ею MLP включает два плотных слоя: один скрытый 
и один — выходной, помимо слоя схлопывания, предназначенного для той же цели, 
что и в модели линейной регрессии. Как видите, у этой функции на два аргумента 
больше, чем у функции 
buildLinearRegressionModel()
в листинге 8.2. В частности, 
параметры 
kernelRegularizer
и 
dropoutRate
позднее помогут нам в борьбе с пере­
обучением. А пока выясним, какой степени безошибочности предсказаний позволяет 
добиться MLP без 
kernelRegularizer
и 
dropoutRate
.
Листинг 8.3.
Создание MLP для задачи предсказания температуры
В блоке A на рис. 8.4 показаны кривые потерь при использовании MLP. Можно 
заметить несколько отличий от кривых потерь линейного регрессора.
z
z
Кривые потерь для обучающего и проверочного наборов данных расходятся, 
в отличие от рис. 8.3, на котором они демонстрируют более или менее схожие 
тенденции.
z
z
Кривая потерь на обучающем наборе данных сходится к намного меньшему зна­
чению погрешности, чем раньше. После 20 эпох обучения потери на обучающем 
наборе данных были около 0,2, что соответствует погрешности в 8,476 
×
0,2 = 
= 1,7 градуса Цельсия — намного лучше, чем результаты линейной регрессии.
z
z
Впрочем, величина потерь на проверочном наборе данных лишь ненадолго умень­
шается на первых двух эпохах, а затем снова понемногу растет. В конце 20­й эпо­
хи она значительно выше, чем потери на обучающем наборе данных (0,35, то есть 
около 3 градусов Цельсия).

---