Я. Гудфеллоу, И. Бенджио, А. Курвилль

ме-
ханизму внимания
, который мы уже упоминали в контексте машинного перевода 
(Bahdanau et al., 2015) и будем подробнее обсуждать в разделе 12.4.5.1. Идея механиз-

---

354 

 
Моделирование последовательностей: рекуррентные и рекурсивные сети
мов внимания для нейронных сетей появилась даже раньше, в контексте генерации 
рукописных текстов (Graves, 2013), где этот механизм был ограничен только пере-
мещением по последовательности вперед во времени. В случае машинного перевода 
и сетей с памятью фокус внимания на текущем и предыдущем шагах может находить-
ся в совершенно разных местах.
Рекуррентные нейронные сети позволяют распространить глубокое обучение на 
последовательные данные. Это последний из основных инструментов глубокого 
обуче ния в нашем арсенале. Далее мы перейдем к вопросу о том, как выбирать под-
ходящие инструменты при решении реальных задач.

---

Глава 
11
Практическая
методология
Для успешного применения глубокого обучения недостаточно просто хорошего зна-
комства с существующими алгоритмами и принципами их работы. Настоящий спе-
циалист должен еще знать, как выбрать алгоритм для конкретного приложения и как 
собрать и проанализировать полученные в ходе эксперимента данные, чтобы улуч-
шить систему машинного обучения. В своей повседневной работе по созданию таких 
систем специалисту-практику приходится решать, нужно ли добавить еще данных, 
повысить или понизить емкость модели, добавить или убрать регуляризирующие 
признаки, стоит ли улучшить оптимизацию и приближенный вывод модели и как от-
ладить ее программную реализацию. Все эти эксперименты занимают много времени, 
и это лишь самая меньшая из всех трудностей, поэтому так важно заранее выбрать 
правильный курс действий, а не тыкаться вслепую.
Основная часть этой книги посвящена различным моделям машинного обучения, 
алгоритмам обучения и целевым функциям. Поэтому может сложиться впечатление, 
будто самое важное качество специалиста по машинному обучению – знать как много 
больше разных методов и хорошо разбираться в математике. Но на практике успеха 
обычно добивается тот, кто правильно применяет широко известный алгоритм, а не 
прибегает к запутанному алгоритму, толком не понимая, как он работает. Для пра-
вильного применения алгоритма необходимо уверенно владеть какой-нибудь прос-
той методологией. Многие рекомендации, приведенные в этой главе, заимствованы 
из работы Ng (2015).
Мы рекомендуем применять на практике следующий процесс проектирования.
 

Определите цели – какую вы будете использовать метрику ошибок и с чем 
сравнивать результаты для оценки ошибки. Метрика ошибок должна опреде-
ляться решаемой задачей.