Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
∈
ℝ
n
, в котором некоторые 

---

100 

 
Основы машинного обучения 
элементы 
x
i
отсутствуют. Алгоритм должен спрогнозировать значения отсут-
ствующих элементов.
 

Шумоподавление.
В этой задаче алгоритму машинного обучения предъявля-
ется искаженный помехами пример 
x
�
∈
ℝ
n
, полученный из чистого примера 
x
∈
ℝ
n
в результате неизвестного процесса искажения. Алгоритм должен вос-
становить чистый пример 
x
по искаженному 
x
�
или, в более общем случае, вер-
нуть условное распределение вероятности 
p
(
x
| 
x
�
).
 

Оценка функции вероятности или функции плотности вероятности.
В зада-
че оценки плотности алгоритм должен обучить функцию 
p
model
: 
ℝ
n
⟶
ℝ
, где 
p
model
(
x
) интерпретируется как функция плотности вероятности (если 
x
– не-
прерывная случайная величина) или как функция вероятности (в дискретном 
случае) в пространстве, из которого были взяты примеры. Чтобы решить эту 
задачу хорошо (что это значит, мы точно определим в разделе о мерах качества), 
алгоритм должен выявить структуру предъявленных данных. Он должен по-
нять, где примеры расположены тесно, а где их появление маловероятно. Для 
большинства описанных выше задач требуется, чтобы алгоритм хотя бы неявно 
уловил структуру распределения вероятности. В задаче оценки плотности это 
распределение должно быть определено явно. В принципе, найденное распре-
деление впоследствии можно использовать для решения других задач. Напри-
мер, получив распределение вероятности 
p
(
x
), мы можем воспользоваться им 
для подстановки отсутствующих значений. Если значение 
x
i
отсутствует, а все 
остальные значения, множество которых обозначается 
x
–i
, имеются, то мы зна-
ем, что распределение 
x
i
имеет вид 
p
(
x
i
| 
x
–i
). На практике оценка плотности не 
всегда позволяет решить все сопутствующие задачи, потому что операции, кото-
рые нужно выполнить с 
p
(
x
), требуют непомерно большого объема вычислений.
Разумеется, есть много других типов задач. Перечисленные выше типы – лишь 
пример того, на что способно машинное обучение, а не строгая систематизация.