Нейронную

Корректировка весовых коэффициентов 
в процессе обучения нейронной сети
Ранее мы улучшали поведение простого линейного классифика­
тора путем регулирования параметра наклона линейной функции
Корректировка весовых коэффициентов в процессе обучения нейронной сети 
85

---

узла. Мы делали это, руководствуясь текущей величиной ошибки, 
т.е. разности между ответом, вырабатываемым узлом, и известным 
нам истинным значением. Ввиду простоты соотношения между ве­
личинами ошибки и поправки это было несложно.
Как нам обновлять весовые коэффициенты связей в случае, если 
выходной сигнал и его ошибка формируются за счет вкладов более 
чем одного узла? Эту задачу иллюстрирует приведенная ниже диа­
грамма.
Когда на выходной узел поступал сигнал только от одного узла, 
все было намного проще. Но как использовать ошибку выходного 
сигнала при наличии двух входных узлов?
Использовать всю величину ошибки для обновления только одного 
весового коэффициента не представляется разумным, поскольку при 
этом полностью игнорируются другая связь и ее вес. Но ведь величина 
ошибки определяется вкладами всех связей, а не только одной.
Правда, существует небольшая вероятность того, что за ошибку 
ответственна только одна связь, но эта вероятность пренебрежимо 
мала. Если мы изменили весовой коэффициент, уже имеющий “ пра­
вильное” значение, и тем самым ухудшили его, то при выполнении 
нескольких последующих итераций он должен улучшиться, так что 
не все потеряно.
Один из возможных способов состоит в том, чтобы распределить 
ошибку поровну между всеми узлами, вносящими вклад, как пока­
зано на следующей диаграмме.
86 
Глава 1. Как работают нейронные сети

---

Суть другой идеи также заключается в том, чтобы распределять 
ошибку между узлами, однако это распределение не обязано быть 
равномерным. Вместо этого большая доля ошибки приписывается 
вкладам тех связей, которые имеют больший вес. Почему? Потому 
что они оказывают большее влияние на величину ошибки. Эту идею 
иллюстрирует следующая диаграмма.
В данном случае сигнал, поступающий на выходной узел, форми­
руется за счет двух узлов. Весовые коэффициенты связей равны 3,0 
и 1,0. Распределив ошибку между двумя узлами пропорционально 
их весам, вы увидите, что для обновления значения первого, боль­
шего веса следует использовать 3 /4 величины ошибки, тогда как 
для обновления значения второго, меньшего веса — 1/4.
Мы можем расширить эту идею на случаи с намного большим ко­
личеством узлов. Если бы выходной узел был связан со ста входны­
ми узлами, мы распределили бы выходную ошибку между всеми ста