Я. Гудфеллоу, И. Бенджио, А. Курвилль

408 

 
Приложения
подсчитывает, сколько раз модель включает «правильный» факт в первые 10% всех 
искаженных версий этого факта.
Еще одно применение баз знаний и их распределенных представлений – 
разре-
шение неоднозначности смысла слов
(Navigli and Velardi, 2005; Bordes et al., 2012), 
т. е. решение вопроса о том, какое значение слова соответствует заданному контексту.
В конечном итоге знание отношений в сочетании с процессом рассуждения и пони-
манием естественного языка позволят нам построить общую вопросно-ответную си-
стему. Такая система должна обрабатывать входную информацию и запоминать важ-
ные факты, организуя их таким образом, чтобы впоследствии их можно было извлечь 
и рассуждать о них. Это остается трудной проблемой, решенной только в ограничен-
ном «игрушечном» окружении. В настоящее время наилучшим подходом к запоми-
нанию и извлечению конкретных декларативных фактов считается использование 
механизма явной памяти, описанного в разделе 10.2. Сети с памятью также впервые 
были использованы для создания игрушечной вопросно-ответной системы (Weston 
et al., 2014). В работе Kumar et al. (2015) предложено обобщение, в котором рекур-
рентные сети GRU применяются для чтения входных данных в памяти и порождения 
ответа при заданном состоянии памяти.
Глубокое обучение применялось и ко многим другим задачам, помимо описанных 
выше, и без сомнения найдет еще больше применений уже после выхода книги из 
печати. Невозможно представить себе нечто, хотя бы отдаленно напоминающее ис-
черпывающий трактат на эту тему. Приведенный обзор – репрезентативная выборка 
из того, что было возможно на момент написания книги.
На этом заканчивается часть II, в которой описаны современные практические 
применения глубоких сетей, охватывающие все наиболее успешные методы. Вообще 
говоря, в этих методах используется градиент функции стоимости для нахождения 
таких параметров модели, которые лучше всего аппроксимируют некоторую жела-
тельную функцию. При наличии достаточного объема обучающих данных это чрез-
вычайно мощный подход. Далее мы переходим к части III, где ступаем на территорию 
активных исследований – методов, которые должны работать при меньшем объеме 
обучающих данных или решать более разнообразные задачи. Проблемы здесь труд-
нее и не так близки к решению, как в описанных выше ситуациях.

---