Нейронную

Обратное распространение ошибок от большего количества выходных узлов 
89

---

Доля ех, используемая для обновления w21, определяется аналогич­
ным выражением:
Возможно, эти выражения несколько смущают вас, поэтому рас­
смотрим их более подробно. За всеми этими символами стоит очень 
простая идея, которая заключается в том, что узлы, сделавшие боль­
ший вклад в ошибочный ответ, получают больший сигнал об ошиб­
ке, тогда как узлы, сделавшие меньший вклад, получают меньший 
сигнал.
Если wu в два раза превышает w21 (скажем, wxx=6, a w2X=3), то доля 
ех, используемая для обновления wu , составляет 6/(6 + 3 ) = 6 /9 = 2/3. 
Тогда для другого, меньшего веса w2X должно остаться 1 /3 ех, что 
можно подтвердить с помощью выражения ЗДб+З) = 3 /9 , результат 
которого действительно равен 1/3.
Как и следовало ожидать, при равных весах будут равны и соот­
ветствующие доли. Давайте в этом убедимся. Пусть wn=4 и w2X=4, тог­
да в обоих случаях доля будет составлять 4Д4+4) = 4 /8 = 1/2.
Прежде чем продолжить, сделаем паузу и вернемся на шаг на­
зад, чтобы оценить то, что мы уже успели сделать. Мы знали, что 
при определении величины поправок для некоторых внутренних 
параметров сети, в данном случае — весов связей, необходимо ис­
пользовать величину ошибки. Вы видели, как это делается для ве­
сов, которые сглаживают входные сигналы последнего, выходного 
слоя нейронной сети. Вы также видели, что увеличение количества 
выходных узлов не усложняет задачу, поскольку мы повторяем одни 
и те же действия для каждого выходного узла. Замечательно!
Но как быть, если количество слоев превышает два? Как обнов­
лять веса связей для слоев, далеко отстоящих от последнего, выход­
ного слоя?
90 
Глава 1. Как работают нейронные сети

---