Я. Гудфеллоу, И. Бенджио, А. Курвилль

12.5.2. Представление знаний, рассуждения 
и ответы на вопросы
Глубокому обучению удалось добиться больших успехов в языковом моделировании, 
машинном переводе и обработке естественных языков благодаря использованию по-
гружений для символов (Rumelhart et al., 1986a) и слов (Deerwester et al., 1990; Bengio 
et al., 2001). Погружения представляют семантические знания об отдельных словах 
и концепциях. На переднем крае исследований находится разработка погружений 

---

406 

 
Приложения
для фраз и связей между словами и фактами. В поисковых системах для этой цели 
уже используется машинное обучение, но еще многое предстоит сделать для улучше-
ния этих продвинутых представлений. 
12.5.2.1. Знания, отношения и ответы на вопросы
Интересное направление исследований – выяснить, как можно обучить распределен-
ные представления улавливать 
отношения
между двумя сущностями. Такие связи 
помогают формализовать факты, касающиеся объектов и их взаимодействий.
В математике 
бинарным отношением
называется множество упорядоченных пар 
объектов. Если пара объектов присутствует в этом множестве, то говорят, что между 
этими объектами имеется отношение. Например, можно задать отношение «мень-
ше» на множестве сущностей {1, 2, 3}, определив множество упорядоченных пар 
𝕊
= {(1, 2), (1, 3), (2, 3)}. После того как отношение определено, его можно использо-
вать как наречие (или глагол – в зависимости от названия отношения). Поскольку 
(1, 2) 
∈
𝕊
, мы говорим, что 1 меньше 2. А так как (2, 1) 
∉
𝕊
, мы не можем сказать, что 
2 меньше 1. Конечно, связанные отношением сущности необязательно должны быть 
числами. Можно было бы определить отношение 
имеет_тип
, содержащее кортежи 
вида 
(собака,
млекопитающее)
.
В контексте ИИ мы воспринимаем отношение как предложение в синтаксически 
простом сильно структурированном языке. Отношение играет роль глагола, а два его 
аргумента – роли подлежащего (субъекта) и дополнения (объекта). Предложения 
имеют вид тройки лексем
(подлежащее; глагол; дополнение) 
(12.21)
со значениями
(сущность
i
; отношение
j
; сущность
k
). 
(12.22)
Можно определить также 
атрибут
– концепцию, аналогичную отношению, с тем 
отличием, что атрибут принимает всего один аргумент:
(сущность
i
; атрибут
j
). 
(12.23)
Например, можно определить атрибут 
имеет_мех
и применять его к сущностям типа 
собака
.
Во многих приложениях требуется представлять отношения и рассуждать о них. 
Как лучше всего сделать это в контексте нейронных сетей? Разумеется, моделям ма-
шинного обучения нужны обучающие данные. Мы можем вывести отношения меж-
ду сущностями из обучающих наборов данных, содержащих неструктурированные 
предложения на естественном языке. Но есть и структурированные базы данных, 
в которых отношения определены явно. Как правило, для этой цели используются