Нейронную

Набор рукописных цифр MNIST 
187

---

забывайте о том, что это шестой по счету узел, потому что нумерация 
узлов начинается с нуля. Все довольно просто. Остальные узлы про­
изводят сигналы небольшой величины, близкие к нулю. Вывод ну­
лей мог оказаться следствием ошибок округления, но в действитель­
ности, как вы помните, функция активации никогда не допустит 
фактическое нулевое значение.
Следующий пример соответствует рукописному “ 0” . Наибольшую 
величину здесь имеет сигнал первого выходного узла, ассоциируе­
мый с меткой “ О” .
Последний пример более интересен. Здесь самый большой сиг­
нал генерирует последний узел, соответствующий метке “ 9” . Однако 
и узел с меткой “ 4” дает сигнал средней величины. Обычно нейрон­
ная сеть должна принимать решение, основываясь на наибольшем 
сигнале, но, как видите, в данном случае она отчасти считает, что 
правильным ответом могло бы быть и “ 4” . Возможно, рукописное на­
чертание символа затруднило его надежное распознавание? Такого 
рода неопределенности встречаются в нейронных сетях, и вместо 
того, чтобы считать их неудачей, мы должны рассматривать их как 
полезную подсказку о существовании другого возможного ответа.
Отлично! Теперь нам нужно превратить эти идеи в целевые мас­
сивы для тренировки нейронной сети. Как вы могли убедиться, если 
тренировочный пример помечен маркером “ 5” , то для выходного узла 
следует создать такой целевой массив, в котором малы все элементы, 
кроме одного, соответствующего маркеру “ 5” . В данном случае этот 
массив мог бы выглядеть примерно так: [ 0 , 0 , 0 , 0 , 0 , 1 , 0 , 0 , 0 , 0 ] .
В действительности эти числа нуждаются в дополнительном масшта­
бировании, поскольку мы уже видели, что попытки создания на выхо­
де нейронной сети значений 0 и 1, недостижимых в силу использования 
функции активации, приводят к большим весам и насыщению сети. 
Следовательно, вместо этого мы будем использовать значения 0,01 
и 0,99, и потому целевым массивом для маркера “ 5” должен быть мас­
сив