JavaScript для глубокого обучения 2021 TensorFlow js Ббк

332
Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
Название метода Описание работы 
метода
Соответствующий API 
TensorFlow.js
Основной (-ые) 
свободный (-е) 
параметр (-ы)
Дропаут
Выбираемая случайным 
образом часть входного 
сигнала обнуляется во 
время обучения (но 
не во время выполнения 
вывода на основе модели), 
чтобы разорвать ложные 
корреляции («сговоры», 
в терминологии Джеффа 
Хинтона) между 
весовыми параметрами, 
возникающие во время 
обучения
tf.layers.dropout()
См., например, 
подраздел 4.3.2
Коэффициент 
дропаута
Нормализация 
по батчам
Во время обучения 
вычисляются среднее 
значение и среднеквадра­
тичное отклонение 
входных значений и на 
основе этих сводных 
показателей входные 
данные нормализуются до 
нулевого среднего значения 
и единичного среднеквадра­
тичного отклонения
tf.layers.batchNor-
malization()
Различные 
(см. https://
js.tensorflow.org/
api/latest/#layers.
batchNormalization)
Ранний останов 
обучения 
на основе потерь 
на проверочном 
наборе данных
Обучение модели сразу 
прерывается, если 
значение функции потерь 
на конец эпохи перестает 
понижаться
tf.callbacks.ear-
lyStopping()
minDelta: 
пороговое 
значение, 
до которого 
изменения 
игнорируются.
patience: 
максимально 
допустимое 
количество эпох 
без улучшения 
ситуации
В завершение этого раздела, посвященного визуализации недообучения и пере­
обучения, приведем простую схему, иллюстрирующую эмпирический способ об­
наружения подобных состояний модели (рис. 8.6). Как демонстрирует блок A, при 
переобучении модель достигает неоптимального (высокого) значения потерь, как 
на обучающем, так и на проверочном наборе данных. В блоке Б показан типичный 
паттерн переобучения, когда потери на обучающем наборе данных представля­
ются вполне удовлетворительными (низкими), но потери на проверочном наборе 
Таблица 8.1
(продолжение)

---