Я. Гудфеллоу, И. Бенджио, А. Курвилль

w
) = 
𝔼
x
∼
p
�
data
||
x
– 
r
(
x
; 
w
)||
2
2
(5.102)

---

Проблемы, требующие глубокого обучения 

141
и модель, в которой 
w
имеет единичную норму, а в качестве функции реконструкции 
используется 
r
(
x
) = 
w
⏉
xw
.
В некоторых случаях функцию стоимости невозможно вычислить из-за высокой 
стоимости вычислений. Но и тогда мы можем минимизировать ее приближенно, при-
меняя итеративную численную оптимизацию, при условии что существует какой-то 
способ аппроксимации ее градиентов.
В большинстве алгоритмов машинного обучения используется именно этот рецепт, 
хотя не всегда это очевидно с первого взгляда. Если алгоритм кажется ни что не по-
хожим или спроектирован вручную, обычно его можно понять, рассматривая как оп-
тимизацию в особом случае. Для некоторых моделей, например решающих деревьев 
и 
k
средних, требуются специальные оптимизации, потому что их функции стоимости 
имеют плоские участки, из-за которых минимизация градиентными методами не годит-
ся. Осознание того, что большинство алгоритмов машинного обучения можно описать 
таким рецептом, позволяет рассматривать различные алгоритмы как результат систе-
матизации методов для решения сходных задач, которые работают по сходным при-
чинам, а не как длинный список алгоритмов, у каждого из которых свое обоснование.
5.11. Проблемы, требующие глубокого обучения
Простые алгоритмы машинного обучения, описанные в этой главе, хорошо работают 
для самых разных задач. Однако они потерпели неудачу при решении центральных 
проблем ИИ, в частности распознавании речи и объектов.
Среди стимулов для разработки глубокого обучения была в том числе и неспособ-
ность традиционных алгоритмов добиться обобщаемости на таких задачах ИИ.
В этом разделе мы покажем, что трудность проблемы обобщения на новые при-
меры экспоненциально возрастает при работе с многомерными данными и что меха-
низмов обобщения, работающих в традиционном машинном обучении, недостаточно 
для обучения сложных функций в многомерных пространствах, поскольку стоимость 
вычислений становится слишком высока. Глубокое обучение призвано преодолеть 
эти и другие препятствия.