Я. Гудфеллоу, И. Бенджио, А. Курвилль

140 

 
Основы машинного обучения 
алгоритмов обучения нужно было построить матрицу 
m
×
m
G
i
, 
 j
= 
k
(
x
(
i
)
, 
x
(
j
)
). Слож-
ность построения такой матрицы равна 
O
(
m
2
), что, очевидно, неприемлемо для на-
боров данных с миллиардами примеров. Начиная с 2006 года интерес к глубокому 
обучению в академических кругах поначалу был обусловлен тем, что, по сравнению 
с конкурирующими алгоритмами, оно лучше обобщается на новые примеры при на-
боре данных среднего размера – с десятками тысяч примеров. Но вскоре после этого 
в отрасли пробудился дополнительный интерес, поскольку глубокое обучение да-
вало масштабируемый способ обучения нелинейных моделей на больших наборах 
данных.
Метод стохастического градиентного спуска и его многочисленные усовершен-
ствования подробно описаны в главе 8.
5.10. Построение алгоритма машинного обучения
Почти все алгоритмы глубокого обучения можно описать как варианты одного прос-
того рецепта: комбинация набора данных, функции стоимости, процедуры оптимиза-
ции и модели.
Например, алгоритм линейной регрессии – это комбинация набора данных, состоя-
щего из 
X
и 
y
, функции стоимости
J
(
w
, 
b
) = –
𝔼
x
, y
∼
p
�
data
log 
p
model
(
y
| 
x
), 
(5.100)
спецификации модели 
p
model
(
y
| 
x
) = 
𝒩
(
y
;