JavaScript для глубокого обучения 2021 TensorFlow js Ббк

ядро
* входной_сигнал + 
смещение
где ядро и смещение — подбираемые параметры (вес
á
) плотного слоя. Эти веса со­
держат информацию, усвоенную сетью из обучающих данных.
Изначально эти веса содержат маленькие случайные значения (шаг под названи­
ем 
«задание
случайных начальных значений»
). Конечно, бессмысленно ожидать чего­
то полезного от величины 
ядро
*
входной_сигнал
+
смещение
, если 
ядро
и 
смещение
случайные. Представьте себе, как значение MAE меняется при выборе различных 
значений этих параметров. Можно ожидать, что значение функции потерь будет 
невелико, если они близки к угловому коэффициенту и точке пересечения с осью 
координат прямой на рис. 2.4, и станет ухудшаться, когда эти параметры будут опи­
сывать совсем другие прямые. Эта идея — потери как функция всех подбираемых 
параметров — известна под названием 
«поверхность ошибок»
(loss surface).
Поскольку это лишь крошечный пример всего с двумя подбираемыми параме­
трами и одной целевой переменной, мы можем изобразить поверхность ошибок 
в виде двумерного контурного графика, как демонстрирует рис. 2.5. Эта поверхность 
ошибок имеет аккуратную чашеобразную форму с глобальным минимумом внизу 
чаши, соответствующим оптимальным значениям параметров. Обычно, впрочем, 
поверхность ошибок моделей глубокого обучения намного сложнее. Она может 
насчитывать гораздо больше двух измерений и множество локальных минимумов, 
то есть точек, которые ниже окружающей их части поверхности, но не всей поверх­
ности в целом.
1 
Обратите внимание, что для таких простых линейных моделей существуют простые, эф­
фективные аналитические решения. Впрочем, приведенный метод оптимизации работает 
даже для более сложных моделей, которые мы рассмотрим позднее.

---