JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
Произведенная этим кодом визуализация показана на рис. 8.5. В блоках A и Б 
приведены результаты нерегуляризованного и регуляризованного MLP соответ­
ственно. В каждом из этих блоков функция 
tfvis.show.layer()
отображает таблицу 
весов модели со всеми подробностями относительно их названий, формы и количе­
ства параметров, минимального/максимального значений параметров и количества 
нулевых и равных NaN значений параметров (последние бывают полезны для вы­
явления проблемных случаев обучения). Визуализация слоя также содержит кнопки 
Show Values Distribution
(Показать распределение значений) для каждого из весовых 
коэффициентов модели, при нажатии которых создается гистограмма значений, 
содержащихся в этом весовом коэффициенте.
Рис. 8.5.
Распределение значений в ядре с L2-регуляризацией (блок A) и без нее (блок Б). Данная 
визуализация создана с помощью функции tfvis.show.layer(). Обратите внимание на различные 
масштабы осей X двух гистограмм
При сравнении графиков для двух этих вариантов MLP можно заметить четкое 
различие: значения ядра распределены по значительно более узкому диапазону при 
L2­регуляризации. Это заметно как по минимальному/максимальному значениям 
(первая строка), так и по гистограмме значений. Регуляризация в действии!
Но почему меньшие значения ядра снижают переобучение и улучшают обобще­
ние модели на новые примеры данных? С интуитивной точки зрения можно понять 
это так, что L2­регуляризация воплощает принцип бритвы Оккама. Вообще говоря, 
бо
'
льшие величины параметров весов обычно позволяют подогнать модель к нюансам 
наблюдаемых ею обучающих признаков, а при меньших их величинах модель игно­
рирует такие нюансы. В предельном случае нулевое значение ядра означает, что мо­
дель вообще не учитывает соответствующего входного признака. L2­регуляризация 
поощряет «экономность» модели, избегая больших величин значений весовых 
коэффициентов, за исключением случаев, когда это оправданно (когда уменьшение 
члена «цель — предсказание» перевешивает потери регуляризатора).
L2­регуляризация — лишь одно из множества средств борьбы с переобучением из 
арсенала специалистов по машинному обучению. В главе 4 мы продемонстрировали 
возможности слоев дропаута. Это чрезвычайно мощное универсальное средство от 

---