Я. Гудфеллоу, И. Бенджио, А. Курвилль

5.7. Алгоритмы обучения с учителем
В разделе 5.1.3 было сказано, что алгоритм обучения с учителем – это такой алго-
ритм, в котором обучающий набор примеров содержит не только входные данные 
x
, но и ассоциированные с ними выходные данные 
y
. Во многих случаях выходные 
данные трудно собрать автоматически, поэтому их должен предоставить человек – 
«учитель», однако сам термин применяется и тогда, когда метки входных данных со-
бирались автоматически.
5.7.1. Вероятностное обучение с учителем
Большинство алгоритмов обучения с учителем, рассматриваемых в этой книге, осно-
вано на оценивании распределения вероятности 
p
(
y
| 
x
). Это можно сделать, просто 
воспользовавшись оценкой максимального правдоподобия, чтобы найти наилучший 
вектор параметров 
θ
для параметрического семейства распределений 
p
(
y
| 
x
; 
θ
).
Мы уже видели, что линейная регрессия соответствует семейству
p
(
y
| 
x
; 
θ
) = 
𝒩
(
y
; 
θ
⏉
x
, 
I
). 
(5.80)
Мы можем обобщить линейную регрессию на случай классификации, определив 
другое семейство распределений вероятности. Если имеются два класса: 0 и 1, то нуж-
но лишь задать вероятность каждого класса. При этом вероятность класса 1 одно-
значно определяет вероятность класса 0, поскольку сумма обоих значений должна 
быть равна 1.
Нормальное распределение вещественных чисел, с которым мы имели дело в за-
даче линейной регрессии, параметризуется величиной среднего. Допустимо любое 
значение среднего. Распределение бинарной величины несколько сложнее, потому 
что ее среднее должно заключаться между 0 и 1. Решить эту проблему можно: напри-
мер, воспользоваться логистической сигмоидой, которая «втискивает» значение ли-
нейной функции в интервал (0, 1), и интерпретировать это значение как вероятность:
p
(
y
= 1 |