Ын Анналин, Су Кеннет

Требует долгих вычислений. Обучение нейронной сети, 
содержащей тысячи нейронов, может занять продолжи-
тельное время. Хотя простейшим решением будет модер-
низация оборудования, она может оказаться слишком 
дорогой. В качестве альтернативного варианта можно 
настроить алгоритмы таким образом, чтобы существенно 

---

11.5. Ограничения
163
увеличить скорость обработки за счет небольшого сниже-
ния прогностической точности. Есть несколько способов 
добиться этого.

Стохастический градиентный спуск. При классиче-
ском градиентном спуске (раздел 6.3) мы итеративно 
проходим весь обучающий набор для обновления 
единственного параметра за раз. В случае с боль-
шими наборами данных это может слишком затя-
нуться. В качестве альтернативы имеет смысл при 
обновлении параметра ограничиться только одним 
фрагментом на каждую итерацию. Этот метод назы-
вается стохастическим градиентным спуском. И хотя 
в итоге значения параметра могут оказаться не самы-
ми оптимальными, они, как правило, обеспечивают 
приличную точность.

Градиентный спуск Mini-batch. Хотя использование 
лишь одного обучающего фрагмента за проход цикла 
может быть быстрее, но за счет этого работа итогового 
параметра и всего алгоритма окажется менее точной, 
то есть параметр отклонится от оптимального значе-
ния. Золотой серединой может стать применение для 
каждого прохода цикла поднабора обучающих при-
меров. Этот метод называется градиентным спуском 
Mini-batch.

Полносвязные слои. С добавлением новых нейро-
нов число возможных нейронных путей возрастает 
по экспоненте. Чтобы избежать проверки всех воз-
можных комбинаций, можно оставить нейроны в на-

---