Я. Гудфеллоу, И. Бенджио, А. Курвилль

32 

 
Введение
ный пример того, что разумное поведение возможно. Поэтому концептуально прямой 
путь к построению искусственного интеллекта состоит в том, чтобы проанализиро-
вать с вычислительной точки зрения принципы работы мозга и воспроизвести его 
функциональность. Во-вторых, вообще было бы очень интересно понять, как работа-
ет мозг и какие принципы лежат в основе разума человека, поэтому модели машинно-
го обучения, проливающие свет на эти фундаментальные научные вопросы, полезны 
вне зависимости от их применимости к конкретным инженерным задачам.
Современный термин «глубокое обучение» выходит за рамки нейробиологиче-
ского взгляда на модели машинного обучения. В нем заложен более общий принцип 
обуче ния нескольких уровней композиции, применимый к системам машинного 
обуче ния, не обязательно устроенным по примеру нейронов.
Предтечами современного глубокого обучения были простые линейные модели на 
основе нейробиологических аналогий. Они принимали множество 
n
входных значе-
ний 
x
1
, …, 
x
n
и ассоциировали с ними выход 
y
. В ходе обучения модель должна была 
найти веса 
w
1
, …, 
w
n
и вычислить выход в виде 
f
(
x
, 
w
) = 
x
1
w
1
+ … + 
x
n
w
n
. Эта первая 
волна нейронных сетей известна под названием кибернетики (рис. 1.7).
Нейрон Маккаллока–Питтса (McCulloch and Pitts, 1943) был ранней моделью 
функционирования мозга. Эта линейная модель могла распознавать две категории 
выходов, проверяя, является значение 
f
(
x
, 
w
) положительным или отрицательным. 
Конечно, чтобы модель соответствовала желаемому определению категорий, нужно 
было правильно подобрать веса. Веса задавал человек. В 1950-е годы был изобретен 
перцептрон (Rosenblatt, 1958, 1962) – первая модель, которая могла в процессе обуче-
ния находить веса, определяющие категории, имея примеры входных данных из каж-
дой категории. Модель