Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
.
5.5.1. Условное логарифмическое правдоподобие 
и среднеквадратическая ошибка
Оценку максимального правдоподобия легко обобщить для оценивания условной 
вероятности 
P
(
y
| 
x
; 
θ
), чтобы предсказывать 
y
при известном 
x
. На самом деле это 
вполне типичная ситуация, лежащая в основе большинства алгоритмов обучения 

---

124 

 
Основы машинного обучения 
с учителем. Если 
X
представляет все входы, а 
Y
– все наблюдаемые выходы, то оценка 
условного максимального правдоподобия равна
(5.62)
Если предположить, что все примеры независимы и одинаково распределены, то 
это выражение можно представить в виде суммы:
(5.62)
Пример: линейная регрессия и максимальное правдоподобие.
Линейную регрес-
сию (раздел 5.1.4) можно интерпретировать как нахождение оценки максимального 
правдоподобия. Ранее мы описывали линейную регрессию как алгоритм, который 
обучается порождать значение 
y
�
по входным данным 
x
. Отображение 
x
в 
y
�
выбира-
ется, так чтобы минимизировать среднеквадратическую ошибку – критерий, взятый 
более-менее произвольно. Теперь мы рассмотрим линейную регрессию с точки зре-
ния оценки максимального правдоподобия. Будем считать, что цель не в том, что-
бы вернуть одно предсказание 
y
�
, а чтобы построить модель, порождающую условное 
распределение 
p
(
y
| 
x
). Можно представить себе, что в бесконечно большом обучаю-
щем наборе мы могли бы встретить несколько обучающих примеров с одним и тем 
же значением 
x
, но с разными значениями 
y
. Цель алгоритма обучения теперь – ап-
проксимировать 
p
(
y
|