Нейронную

Набор рукописных цифр MNIST 
203

---

переобучения. Провал при 6 эпохах, по всей вероятности, обуслов­
лен неудачными параметрами цикла, которые привели градиентный 
спуск к ложному минимуму. На самом деле можно было ожидать 
большей вариации результатов, поскольку мы не проводили множе­
ства экспериментов для каждой точки данных, чтобы уменьшить ва­
риацию, вызванную случайными факторами. Именно поэтому я оста­
вил эту странную точку, соответствующую шести эпохам, чтобы на­
помнить вам, что по самой своей сути обучение нейронной сети — это 
случайный процесс, который иногда может работать не очень хорошо, 
а иногда и очень плохо.
Другое возможное объяснение — это то, что коэффициент обуче­
ния оказался слишком большим для большего количества эпох. 
Повторим эксперимент, уменьшив коэффициент обучения с 0,2 
до 0,1, и посмотрим, что произойдет.
На следующем графике новые значения эффективности при коэф­
фициенте обучения 0,1 представлены вместе с предыдущими резуль­
татами, чтобы их было легче сравнить между собой.
204 
Глава 2, Создаем нейронную сеть на Python

---

Как нетрудно заметить, уменьшение коэффициента обучения 
действительно привело к улучшению эффективности при большом 
количестве эпох. Пиковому значению 0,9689 соответствует вероят­
ность ошибок, равная 3 % , что сравнимо с эталонными результата­
ми, указанными на сайте Яна Лекуна по адресу h ttp ://y a n n .le c u n . 
com/exdb/m nist/.
Интуиция подсказывает нам, что если мы планируем использо­
вать метод градиентного спуска при значительно большем количе­
стве эпох, то уменьшение коэффициента обучения (более короткие 
шаги) в целом приведет к выбору лучших маршрутов минимизации 
ошибок. Вероятно, 5 эпох — это оптимальное количество для тести­
рования нашей нейронной сети с набором данных MNIST. Вновь об­
ращу ваше внимание на то, что мы сделали это довольно ненаучным 
способом. Правильно было бы выполнить эксперимент по нескольку 
раз для каждого сочетания значений коэффициента обучения и ко­
личества эпох с целью минимизации влияния фактора случайности, 
присущего методу градиентного спуска.