Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
с последующей попыткой вывести, явно или неявно, распре-
деление вероятности 
p
(
x
) или некоторые интересные свойства этого распределения. 
А обучение с учителем сводится к наблюдению нескольких примеров случайного 
вектора 
x
и ассоциированного с ним значения или вектора 
y
с последующей попыт-
кой предсказать 
y
по 
x
, обычно в виде оценки 
p
(
y
| 
x
). Мы считаем, что метка 
y
предо-

---

102 

 
Основы машинного обучения 
ставлена неким учителем, который объясняет системе машинного обучения, что де-
лать, – отсюда и название «
обучение с учителем
». В обучении без учителя никакого 
учителя не существует, и алгоритм должен извлечь из данных смысл без подсказки.
Обучение с учителем и без учителя – термины, не имеющие формального опреде-
ления. Границы между тем и другим часто размыты. Многие технологии машинно-
го обучения применимы к решениям задач обоих типов. Например, цепное правило 
вероятностей утверждает, что для вектора 
x
∈
ℝ
n
совместное распределение можно 
представить в виде произведения:
(5.1)
Такое разложение означает, что моделирование 
p
(
x
), которое на первый взгляд ка-
жется задачей без учителя, можно разделить на 
n
задач обучения с учителем. С дру-
гой стороны, задачу обучения с учителем, состоящую в вычислении 
p
(
y
| 
x
), можно 
решить с помощью традиционных методов обучения без учителя: найти совместное 
распределение 
p
(
x
, 
y
), а затем вычислить
(5.2)
Хотя обучение с учителем и без учителя – понятия, не формализованные и не раз-
деленные четкой границей, они все же помогают приблизительно распределить по 
категориям некоторые задачи, решаемые в машинном обучении. Принято относить 
задачи регрессии, классификации и структурного вывода к обучению с учителем, 
а задачу оценивания плотности – к обучению без учителя.
Возможны и другие варианты парадигмы обучения. Например, в случае обучения 
с частичным привлечением учителя одни примеры снабжены метками, а другие – нет. 
В многовариантном обучении вся совокупность примеров помечается как содержа-
щая или не содержащая пример класса, но отдельные ее элементы никак не помеча-
ются. Недавний пример многовариантного обучения глубоких моделей см. в работе 
Kotzias et al. (2015).
В некоторых алгоритмах машинного обучения в роли опыта выступает не только 
фиксированный набор данных. Так, алгоритмы