Я. Гудфеллоу, И. Бенджио, А. Курвилль

обучение на одном примере
(one-shot 
learning) и 
обучение без примеров
(zero-shot learning), или 
обучение без данных
(zero-data learning). В первом случае для перенесенной задачи имеется только один 
помеченный пример, а во втором – ни одного.
Обучение на одном примере (Fei-Fei et al., 2006) возможно, потому что представле-
ние обучается четко различать классы на первом этапе. А на этапе переноса обучения 
достаточно одного помеченного примера, чтобы вывести метку многих возможных 
тестовых примеров, сконцентрированных вокруг одной точки в пространстве пред-
ставления. Это работает, если факторы вариативности, соответствующие этим инва-
риантам, четко отделены от других факторов в пространстве обученного представ-
ления и если мы каким-то образом сумели установить, какие факторы существенны, 
а какие несущественны для различения объектов определенных категорий.
Обучение без примеров можно проиллюстрировать на задаче, в которой обучае-
мая модель должна прочитать большой корпус текстов, а затем решить некую задачу 
распознавания объектов. Распознать класс объекта можно, даже никогда не видя его 
изобра жения, если у класса имеется достаточно хорошее текстовое описание. Напри-
мер, прочитав, что у кошки четыре ноги и заостренные уши, обучаемая система могла 
бы предположить, что на картинке изображена кошка, хотя никогда ее не видела.
Обучение без данных (Larochelle et al., 2008) и обучение без примеров (Palatucci 
et al., 2009; Socher et al., 2013b) возможны только потому, что во время обучения ис-
пользовалась дополнительная информация. Можно считать, что в обучении без дан-
ных присутствуют три случайные величины: традиционный вход 
x
, традиционный 
выход или метки 
y
и дополнительная случайная величина, описывающая задачу, 
Т
. 
Модель обучается оценивать условное распределение 
p
(