Нейронную

99
Резюме

---

Сделайте вполне заслуженный перерыв, поскольку следующий те­
оретический раздел потребует от вас концентрации внимания и при­
ложения умственных усилий.
Как мы фактически обновляем 
весовые коэффициенты
Однако мы пока что не приступили к решению главной задачи — 
обновлению весов связей в нейронной сети. Мы работали в этом на­
правлении и уже почти достигли намеченной цели. Нам осталось ра­
зобрать лишь одну ключевую идею, чтобы больше не было никаких 
неясностей.
К этому моменту мы научились рассчитывать обратное распро­
странение ошибок до каждого слоя сети. Зачем нам это нужно? 
Затем, что ошибки подсказывают нам, как должны быть изменены 
веса связей, чтобы улучшить результирующий общий ответ на вы­
ходе нейронной сети. В основном это то, что мы делали с линейным 
классификатором еще в начале главы.
Однако узлы — это не простые линейные классификаторы. В уз­
лах сигналы суммируются с учетом весов, после чего к ним применя­
ется сигмоида. Но как нам все-таки справиться с обновлением весов 
для связей, соединяющих эти более сложные узлы? Почему бы не ис­
пользовать алгебру для непосредственного вычисления весов?
Последний путь нам не подходит ввиду громоздкости соответ­
ствующих выкладок. Существует слишком много комбинаций ве­
сов и слишком много функций, зависящих от функций, завися­
щих от других функций и т.д., которые мы должны комбинировать 
в ходе анализа распространения сигнала по сети. Представьте себе 
хотя бы небольшую нейронную сеть с тремя слоями и тремя нейро­
нами в каждом слое, подобную той, с которой мы перед этим рабо­
тали. Как отрегулировать весовой коэффициент для связи между 
первым входным узлом и вторым узлом скрытого слоя, чтобы сигнал 
на выходе третьего узла увеличился, скажем, на 0,5? Даже если бы 
вам повезло и вы сделали это, достигнутый результат мог бы быть 
разрушен настройкой другого весового коэффициента, улучшающего 
сигнал другого выходного узла. Как видите, эти расчеты далеко не 
тривиальны.