Нейронную

Ошибка
(целевое-
фактическое)2
0,4
0,5
0,1
0,1
0,01
0,8
0,7
- 0 , 1
0,1
0,01
1,0
1,0
0
0
0
Сумма
0
0,2
0,02
Нашим первым кандидатом на роль функции ошибки является 
простая разность значений (целевое - фактическое). Это кажется 
вполне разумным, не так ли? Но если вы решите использовать сумму 
ошибок по всем узлам в качестве общего показателя того, насколько 
хорошо обучена сеть, то эта сумма равна нулю!
Что случилось? Ясно, что сеть еще недостаточно натренирована, 
поскольку выходные значения двух узлов отличаются от целевых 
значений. Но нулевая сумма означает отсутствие ошибки. Это объяс­
няется тем, что положительная и отрицательная ошибки взаимно 
сократились. Отсюда следует, что простая разность значений, даже 
если бы их взаимное сокращение было неполным, не годится для ис­
пользования в качестве меры величины ошибки.
Пойдем другим путем, взяв абсолютную величину разности. 
Формально это записывается как | целевое-фактическое |
и означает, 
что знак результата вычитания игнорируется. Это могло бы срабо­
тать, поскольку в данном случае ничто ни с чем не может сократить­
ся. Причина, по которой данный метод не получил популярности,
Как мы фактически обновляем весовые коэффициенты 
109

---

связана с тем, что при этом наклон не является непрерывной функ­
цией вблизи минимума, что затрудняет использование метода гра­
диентного спуска, поскольку мы будем постоянно совершать скачки 
вокруг V-образной долины, характерной для функции ошибки по­
добного рода. При приближении к минимуму наклон, а вместе с ним 
и величина шага изменения переменной, не уменьшается, а это озна­
чает риск перескока.
Третий вариант заключается в том, чтобы использовать в качестве 
меры ошибки квадрат разности: (целевое-фактическое)2. Существует 
несколько причин, по которым третий вариант предпочтительнее 
второго, включая следующие:
• он упрощает вычисления, с помощью которых определяется ве­
личина наклона для метода градиентного спуска;
• функция ошибки является непрерывно гладкой, что обеспечи­
вает нормальную работу метода градиентного спуска ввиду от­
сутствия провалов и скачков значений функции;
• по мере приближения к минимуму градиент уменьшается, что 
означает снижение риска перескока через минимум, если ис­
пользуется уменьшение величины шагов.
А возможны ли другие варианты? Да, вы вправе сконструировать 
любую сложную функцию, которую считаете нужной. Одни из них 
могут вообще не работать, другие могут хорошо работать для опреде­
ленного круга задач, а третьи могут работать действительно хорошо, 
но их чрезмерная сложность приводит к неоправданным затратам 
ресурсов.
А тем временем мы вышли на финишную прямую!
Чтобы воспользоваться методом градиентного спуска, нам нужно 
определить наклон функции ошибки по отношению к весовым коэф­
фициентам. Это требует применения дифференциального исчисле­
ния. Возможно, вы уже знакомы с ним, а если не знакомы или вам 
требуется освежить свою память, то обратитесь к приложению А. 
Дифференциальное исчисление — это просто математически строгий 
подход к определению величины изменения одних величин при из­
менении других. Например, оно позволяет ответить на вопрос о том, 
как изменяется длина пружины в зависимости от величины усилия,