Я. Гудфеллоу, И. Бенджио, А. Курвилль

реляционные базы данных
, в которых хранится информация того же сорта, правда, 
не представленная в виде троек лексем. Если база данных предназначена для переда-
чи системе искусственного интеллекта общеизвестных знаний о повседневной жизни 
или специальных знаний о предметной области, то мы называем ее 
базой знаний
. Су-
ществуют как общие базы знаний: 
Freebase
, 
OpenCyc
, 
WordNet
, 
Wikibase
1
, так и специа-
1
Размещенные на сайтах 
freebase.com
, 
cyc.com/opencyc
, 
wordnet.princeton.edu
, 
wikiba.se
 соот-
ветственно.

---

Другие приложения 

407
лизированные, например GeneOntology
1
. Представления сущностей и отношений 
можно обучить, рассматривая каждую тройку в базе знаний как обучающий пример 
и максимизируя целевую функцию, которая улавливает их совместное распределе-
ние (Bordes et al., 2013a).
Помимо обучающих данных, нам нужно также определить семейство подлежа-
щих обучению моделей. Общий подход – распространить нейронные языковые мо-
дели на моделирование сущностей и отношений. Результатом обучения нейронной 
языковой модели является вектор, который дает распределенное представление 
каждого слова. Она также обучается взаимодействиям между словами, например: 
какое слово может встретиться после заданной последовательности слов, для чего 
обучаются функции этих векторов. Этот подход можно распространить на сущности 
и отношения, если обучить вектор погружений для каждого отношения. На самом 
деле параллель между моделированием языка и моделированием знаний, закоди-
рованных в виде отношений, настолько тесная, что исследователи обучали пред-
ставления таких сущностей, используя одновременно базы знаний и предложения 
на естественном языке (Bordes et al., 2011, 2012; Wang et al., 2014a) или комбинируя 
данные из нескольких реляционных баз данных (Bordes et al., 2013b). Есть много 
вариантов параметризации такой модели. В ранних работах по обучению отношений 
между сущностями (Paccanaro and Hinton, 2000) были предложены параметриче-
ские формы с сильными ограничениями («линейные реляционные погружения»), 
причем для представления отношений и сущностей часто использовались различ-
ные формы. Например, в работах Paccanaro and Hinton (2000) и Bordes et al. (2011) 
использовались векторы для сущностей и матрицы для отношений, обосновывая 
это тем, что отношение выступает в роли оператора над сущностями. Можно также 
рассматривать отношения как любую другую сущность (Bordes et al., 2012), что по-
зволяет высказывать утверждения относительно отношений, но большей гибкостью 
обладает механизм, который комбинирует их с целью моделирования совместного 
распределения.
В качестве примера практического применения таких моделей можно назвать 
предсказание связей – отсутствующих ребер в графе знаний. Это форма обобщения 
на новые факты на основе старых фактов. Большинство существующих ныне баз зна-
ний было построено вручную, поэтому многие, а быть может, и большинство истин-
ных отношений в базе отсутствует. Примеры таких приложений приведены в работах 
Wang et al. (2014b), Lin et al. (2015) и Garcia-Duran et al. (2015).
Оценка качества модели для задачи предсказания связей вызывает трудности, по-
тому что у нас имеется только набор положительных примеров (заведомо истинных 
фактов). Если модель предлагает факт, отсутствующий в наборе, мы не знаем на-
верняка, то ли модель допустила ошибку, то ли действительно открыла новый, ранее 
неизвестный факт. Поэтому все метрики не вполне точны и основаны на проверке 
того, как модель ранжирует зарезервированный набор заведомо правильных фактов 
по сравнению с другими фактами, которые могут быть и неправильны. Стандартный 
способ конструирования интересных, предположительно отрицательных примеров 
(фактов, которые с большой вероятностью ложны) – начать с истинного факта и соз-
дать его искаженные версии, например подменив одну сущность в отношении другой, 
выбранной случайным образом. Популярная метрика «точность на 10 процентах» 
1
geneontology.org
.

---