Нейронную

Подготовка данных 
125

---

сигналов в процессе их объединения и обработки функцией акти­
вации. Иными словами, мы не должны использовать весовые коэф­
фициенты, разрушающие результаты наших попыток тщательно 
масштабировать входные сигналы. Суть эмпирического правила, 
к которому пришли математики, заключается в том, что весовые 
коэффициенты инициализируются числами, случайно выбираемы­
ми из диапазона, грубая оценка которого определяется обратной ве­
личиной квадратного корня из количества связей, ведущих к узлу. 
Таким образом, если к каждому узлу ведут три связи, то началь­
ные значения весов не должны превышать значение 1/(V3) = 0,577. 
Если же каждый узел имеет 100 входящих связей, то веса должны 
находиться в диапазоне, ограниченном значением l/(V l0 0 ) = 0,1.
Интуитивно это понятно. Некоторые слишком большие веса сме­
стили бы функцию активации в область больших значений, что при­
вело бы к ее насыщению. И чем больше связей приходится на узел, 
тем больше складывается весовых коэффициентов. Поэтому эмпи­
рическое правило, которое уменьшает диапазон значений весовых 
коэффициентов с увеличением количества связей на узел, находит 
логическое объяснение.
Если вы уже знакомы с идеей выборочных значений, извлекае­
мых из распределений вероятностей, то поймете, что это правило 
фактически относится к нормальному распределению, для которо­
го среднее значение равно нулю, а стандартное отклонение равно 
обратной величине корня из количества связей, ведущих к узлу. 
Однако не будем слишком строго придерживаться этой рекомен­
дации, поскольку она предполагает выполнение довольно большо­
го количества условий, которые не всегда соблюдаются, таких как 
альтернативное использование гиперболического тангенса t h () 
в качестве функции активации и специфическое распределение 
входных сигналов.
Следующий график иллюстрирует в наглядной форме как простой 
подход, так и более сложный, в котором используется нормальное 
распределение.