Нейронную

Изменение конфигурации сети
Один из факторов, влияние которых мы еще не исследовали, хотя, 
возможно, и должны были сделать это раньше, — конфигурация 
нейронной сети. Необходимо попробовать изменить количество уз­
лов скрытого промежуточного слоя. Давным-давно мы установили 
его равным 100.
Прежде чем приступить к экспериментам с различными количе­
ствами скрытых узлов, давайте подумаем, что при этом может слу­
читься. Скрытый слой как раз и является тем слоем, в котором про­
исходит обучение. Вспомните, что узлы входного слоя принимают 
входные сигналы, а узлы выходного выдают ответ сети. Собственно, 
скрытый слой (или слои) должен научить сеть превращать входные 
сигналы в ответ. Именно в нем происходит обучение. На самом деле 
все обучение основано на значениях весовых коэффициентов до и после 
скрытого слоя, но вы понимаете, что я имею в виду.
Согласитесь, что если бы у нас было слишком мало скрытых узлов, 
скажем, три, то мы не имели бы никаких шансов обучить сеть чему- 
либо, научить ее преобразовывать все входные сигналы в коррект­
ные выходные сигналы. Это все равно что пытаться перевезти десять
Набор рукописных цифр MNIST 
205

---

человек в автомобиле, рассчитанном на пятерых. Вы просто не смог­
ли бы втиснуть всю входную информацию в эти узлы. Ограничения 
такого рода называют способностью к обучению. Невозможно об­
учить большему, чем позволяет способность к обучению, но можно 
увеличить способность к обучению, изменив конфигурацию сети.
Что, если бы у нас было 10 тысяч скрытых узлов? Ну да, в таком 
случае способности к обучению вполне хватило бы, но мы могли бы 
столкнуться с трудностями обучения сети, поскольку число мар­
шрутов обучения было бы непомерно большим. Не исключено, что 
для тренировки такой сети понадобилось бы 10 тысяч эпох.
Выполним эксперименты и посмотрим, что получится.
Как видите, при небольшом количестве узлов результаты хуже, 
чем при больших количествах. Это совпадает с нашими ожидания­
ми. Однако даже для всего лишь пяти скрытых узлов показатель эф­
фективности составил 0,7001. Это удивительно, поскольку при столь 
малом количестве узлов, в которых происходит собственно обуче­
ние сети, она все равно дает 70% правильных ответов. Вспомните, 
что до этого мы выполняли тесты, используя сто скрытых узлов. Но