Нейронную

40 
Глава 1. Как работают нейронные сети

---

Но погодите! Что произошло? Глядя на график, мы видим, что 
нам не удалось добиться того наклона прямой, которого мы хотели. 
Она не обеспечивает достаточно надежное разделение областей диа­
граммы, занимаемых точками данных божьих коровок и гусениц.
Ну что тут сказать? Мы получили то, что просили. Линия обнов­
ляется, подстраиваясь под то целевое значение у, которое мы задаем.
Что-то здесь не так? А ведь действительно, если мы будем про­
должать так и далее, т.е. просто обновлять наклон для очередного 
примера тренировочных данных, то все, что мы будем каждый раз 
получать в конечном счете, — это линию, проходящую вблизи точки 
данных последнего тренировочного примера. В результате этого мы 
отбрасываем весь предыдущий опыт обучения, который могли бы ис­
пользовать, и учимся лишь на самом последнем примере.
Как исправить эту ситуацию?
Легко! И эта идея играет ключевую роль в машинном обучении. 
Мы сглаживаем обновления, т.е. немного уменьшаем величину по­
правок. Вместо того чтобы каждый раз с энтузиазмом заменять 
А
Тренировка простого классификатора 
41

---

новым значением, мы используем лишь некоторую долю поправки 
ДА, 
а не всю ее целиком. Благодаря этому мы движемся в том направ­
лении, которое подсказывает тренировочный пример, но делаем это 
осторожно, сохраняя некоторую часть предыдущего значения, к о­
торое было получено в результате, возможно, многих предыдущих 
тренировочных циклов. Мы уже видели, как работает эта идея сгла­
живания в примере с преобразованием километров в мили, когда из­
меняли параметр с лишь на некоторую долю фактической ошибки.
У такого сглаживания есть еще один очень мощный и полезный 
побочный эффект. Если тренировочные данные не являются надеж­
ными и могут содержать ошибки или шум (а в реальных измерениях 
обычно присутствуют оба этих фактора), то сглаживание уменьшает 
их влияние.
Ну что ж, сделаем перерасчет, на этот раз добавив сглаживание 
в формулу обновления: