Я. Гудфеллоу, И. Бенджио, А. Курвилль

y
| 
x
, 
Т
), где 
Т
– описание 
задачи, которую должна решать модель. В нашем примере распознавания кошек по 
их текстовому описанию выходом является бинарная переменная 
y
– такая, что 
y
= 1 
означает «да», а 
y
= 0 – «нет». Тогда величина 
Т
представляет вопросы, требующие 
ответа, например: «Присутствует ли в изображении кошка?» Если имеется обучаю-
щий набор, содержащий непомеченные примеры объектов, принадлежащих тому же 
пространству, что и 
Т
, то мы могли бы вывести смысл экземпляров 
Т
, которых раньше 
не видели. В нашем случае важно наличие непомеченных текстовых данных, содер-
жащих предложения вида «у кошки четыре ноги» или «у кошки заостренные уши».
Для обучения без примеров требуется, чтобы 
Т
была представлена в виде, допус-
кающем какое-то обобщение. Например, 
Т
не может быть просто унитарным кодом, 

---

454 

 
Обучение представлений 
обозначающим категорию объекта. В работе Socher et al. (2013b) предложено альтер-
нативное распределенное представление категорий объектов посредством обученно-
го погружения слов, ассоциированных с каждой категорией.
Похожий феномен встречается в машинном переводе (Klementiev et al., 2012; 
Mikolov et al., 2013b; Gouws et al., 2014): имеются слова на одном языке и связи меж-
ду словами, которые можно обучить на корпусе одноязычных текстов; с другой сто-
роны, имеются переведенные предложения, сопоставляющие слова на двух разных 
языках. И хотя у нас может не быть помеченных примеров перевода слова 
A
на язы-
ке 
X
в слово 
B
на языке 
Y
, мы можем произвести обобщение и предложить перевод 
слова 
A
, поскольку обучили распределенные представления слов языка 
X
и языка 
Y
, 
а затем создали связь (возможно, двустороннюю) между обоими пространствами по-
средством обучающих примеров, состоящих из соответственных пар предложений на 
двух языках. Такой перенос будет особенно успешным, если все три составные части 
(два представления и связи между ними) обучались совместно.
Обучение без примеров – частный случай переноса обучения. Тот же принцип 
объясняет, как можно провести