Нейронную

124 
Глава 1* Как работают нейронные сети

---

функции активации. Мы понимаем, что это так же плохо, как и на­
сыщение сети.
Поэтому мы должны масштабировать наши целевые выходные 
значения таким образом, чтобы они были допустимыми при данной 
функции активации, одновременно заботясь о том, чтобы избежать 
значений, которые в действительности никогда не могут быть до­
стигнуты.
Общепринято использовать диапазон значений от 0,0 до 1,0, но 
некоторые разработчики используют диапазон от 0,01 до 0,99, по­
скольку значения 0,0 и 1,0, с одной стороны, не являются подходя­
щими целевыми значениями, а с другой — могут приводить к чрез­
мерно большим значениям весовых коэффициентов.
Случайные начальные значения весовых коэффициентов
Здесь применима та же аргументация, что и в случае входных 
и выходных сигналов. Мы должны избегать больших начальных 
значений весовых коэффициентов, поскольку использование функ­
ции активации в этой области значений может приводить к насыще­
нию сети, о котором мы только что говорили, и снижению способнос­
ти сети обучаться на лучших значениях.
Один из возможных вариантов — прибегнуть к выбору значе­
ний из случайного равномерного распределения чисел в диапазоне 
от -1 ,0 до +1,0. Это гораздо лучше, чем использовать, скажем, диа­
пазон чисел от -1 0 0 0 до +1000.
Возможен ли лучший вариант? Вполне вероятно.
Математики и ученые-компьютерщики разработали подходы, по­
зволяющие определять эмпирические правила для задания случай­
ных начальных значений весовых коэффициентов в зависимости 
от конкретной конфигурации сети и используемой функции актива­
ции. Соответствующие рецепты в высшей степени специфичны, но, 
невзирая на это, мы рискнем подступиться к ним!
Мы не будем вдаваться в детали математических выкладок, но 
центральная идея заключается в том, что если на узел нейрон­
ной сети поступает множество сигналов, причем поведение этих 
сигналов хорош о определено, они не достигают слишком боль­
ших значений и не распределены каким-то невероятным образом, 
то весовые коэффициенты не должны нарушать такое состояние