Нейронную

t - у = (А + ДА) х - Ах
Раскрыв скобки и приведя подобные члены, получаем:
E = t - y = A x + (ДА) х - Ах 
Е = ( ДА) х
Это просто замечательно! Ошибка 
Е 
связана с 
Д А 
очень простым со­
отношением. Оно настолько простое, что поначалу я даже засомне­
вался, не кроется ли где-то ошибка, но оно оказалось действительно 
верным. Как бы то ни было, это простое соотношение значительно 
упрощает нашу работу.
Делая подобного рода выкладки, можно легко забыть о первона­
чальной задаче. Сформулируем простыми словами то, чего мы хоте­
ли добиться.
Мы хотели узнать, каким образом можно использовать информа­
цию об ошибке 
Е 
для определения величины поправки к 
А , 
которая 
изменила бы наклон линии таким образом, чтобы классификатор 
лучше справлялся со своими функциями. Преобразуем последнее 
уравнение, чтобы найти выражение для 
ДА:
ДА = Е / х
Есть! Это и есть то волшебное выражение, которое мы искали. 
Теперь мы можем использовать ошибку 
Е
для изменения наклона 
классифицирующей линии на величину 
ДА 
в нужную сторону. 
Примемся за дело — обновим начальный наклон линии.
Когда 
х
был равен 3,0, ошибка была равна 0,35. Таким образом, 
ДА 
= 
Е / х
превращается в 0,35 / 3,0 = 0,1167. Это означает, что те­
кущее значение А=0,25 необходимо изменить на величину 0,1167. 
Отсюда следует, что новое, улучшенное значение 
А
равно 
( А + Д А ) , 
т.е. 0,25 + 0,1167 = 0,3667. Не составляет труда убедиться в том, что
Тренировка простого классификатора 
39

---

расчетное значение 
у
при новом значении 
А
равно, как и следовало 
ожидать, 1,1 — желаемому целевому значению.
Ух ты! У нас получилось! Все работает, и мы располагаем методом 
для улучшения параметра 
А , 
если известна текущая ошибка.
Давайте поднажмем.
Закончив с первым примером, потренируемся на втором. Он дает 
нам следующие истинные данные: 
х = 1 , 0
и 
у = 3 , 0 .
Посмотрим, что получится, если вставить 
х = 1 , 0
в линейную функ­
цию, в которой теперь используется обновленное значение 
А = 0 , 3 6 6 7 .
Мы получаем 
у
= 0,3667 * 1,0 = 0,3667. Это очень далеко от значения 
у = 3 , 0
в тренировочном примере.
Используя те же рассуждения, что и перед этим, когда мы нащу­
пывали путь к построению такой линии, которая не пересекала бы 
тренировочные данные, а проходила над ними или под ними, мы мо­
жем задать желаемое целевое значение равным 2,9. При этом данные 
тренировочного примера, соответствующего гусеницам, находятся 
над линией, а не на ней. Ошибка 
Е 
равна (2,9 - 0,3667) = 2,5333.
Эта ошибка больше предыдущей, но если хорош о подумать, то 
у нас ведь был всего лишь один пример для обучения линейной функ­
ции, который отчетливо смещал функцию в своем направлении.
Опять обновим 
А , 
как делали до этого. Соотношение 
Д А = Е / х
дает 
2,5333 / 1,0 = 2,5333. Это означает, что после очередного обновления 
параметр 
А
принимает значение 0,3667 + 2,5333 = 2,9. Отсюда сле­
дует, что для 
х = 1 , 0
функция возвращает в качестве ответа значение 
2,9, которое и является желаемым целевым значением.
Мы проделали довольно большую работу, поэтому можем снова 
передохнуть и визуализировать полученные результаты. На следую­
щей диаграмме представлены начальная линия, линия, обновленная 
после обучения на первом тренировочном примере, и окончательная 
линия, обновленная на втором тренировочном примере.