Нейронную

Как мы фактически обновляем весовые коэффициенты 
119

---

от знака равенства используются значения из следующего слоя (узел 
к ) ,
а во второй — из предыдущего слоя (узел 
j ) .
Возможно, глядя на приведенную выше формулу, вы заметили, 
что горизонтальная матрица, представленная одной строкой, — это 
транспонированная матрица сигналов о; на выходе предыдущего слоя. 
Цветовое выделение элементов матриц поможет вам понять, что ска­
лярное произведение матриц отлично работает и в этом случае.
Используя символическую запись матриц, мы можем привести 
эту формулу к следующему виду, хорошо приспособленному для ре­
ализации в программном коде на языке, обеспечивающем эффектив­
ную работу с матрицами.
|
Фактически это выражение совсем не сложное. Сигмоиды исчезли 
из поля зрения, поскольку они скрыты в матрицах выходных сигна­
лов ок узлов.
Вот и все! Работа сделана.
Резюме
• Ошибка нейронной сети является функцией весов внутренних связей.
• Улучшение нейронной сети означает уменьшение этой ошибки посредством из­
менения указанных весов.
• Непосредственный подбор подходящих весов наталкивается на значительные 
трудности. Альтернативный подход заключается в итеративном улучшении ве­
совых коэффициентов путем уменьшения функции ошибки небольшими шага­
ми. Каждый шаг совершается в направлении скорейшего спуска из текущей по­
зиции. Этот подход называется 
градиентны м спуском.
• Градиент ошибки можно без особых трудностей рассчитать, используя диффе­
ренциальное исчисление.
120 
Глава 1. Как работают нейронные сети

---

Пример обновления весовых коэффициентов
Проиллюстрируем применение описанного метода обновления ве­
совых коэффициентов на конкретном примере с использованием чис­
ловых данных.
С представленной ниже сетью мы уже работали, но в этот раз бу­
дут использованы заданные значения выходных сигналов первого 
и второго узлов скрытого слоя, o._j и о)-2. Эти значения лишь иллюс­
трируют применение методики и выбраны произвольно, а не вычис­
лены, как это следовало бы сделать, по известным выходным сигна­
лам входного слоя.
Мы хотим обновить весовой коэффициент wn для связи между 
скрытым и выходным слоями, текущее значение которого равно 2,0. 
Запишем еще раз выражение для градиента ошибки. *
•
Разберем это выражение по частям.
• Первая часть (tk - ok) — это уже известная вам по предыду­
щим диаграммам ошибка 6j=0,8.