Я. Гудфеллоу, И. Бенджио, А. Курвилль

эмпири-
ческого распределения
:
(3.28)
которое сопоставляет массу вероятности 1/
m
каждой из точек 
x
(1)
, …, 
x
(
m
)
, образуя 
заданный набор примеров. Дельта-распределение Дирака нужно только для опре-
деления эмпирического распределения непрерывных величин. Для дискретных ве-
личин все проще: эмпирическое распределение можно концептуально представить 
как категориальное распределение, в котором вероятность каждого возможного 
входного значения просто равна эмпирической частоте этого значения в обучаю-
щем наборе.
Эмпирическое распределение, образованное набором обучающих примеров, мож-
но рассматривать как распределение, из которого производится выборка при обуче-
нии модели на этом наборе. Еще один важный взгляд на эмпирическое распределение 
заключается в том, что это плотность вероятности, доставляющая максимум правдо-
подобию обучающих данных (см. раздел 5.5).
3.9.6. Смеси распределений
Часто новые распределения вероятности определяются путем комбинирования более 
простых. Один из самых употребительных способов комбинирования – построение 
смеси распределений
, состоящей из нескольких компонент. При каждом испытании 
определяется, из какого распределения будет производиться выборка, причем для 
выборки компоненты используется категориальное распределение:
(3.29)
где 
P
(
c
) – категориальное распределение компонент.
Один пример смеси распределений мы уже видели: эмпирическое распределение 
вещественных случайных величин – это смесь распределений Дирака, по одному для 
каждого обучающего примера.

---

72 

 
Теория вероятностей и теория информации 
Модель смеси – простая стратегия комбинирования распределений вероятности 
для получения более сложного распределения. В главе 16 мы рассмотрим искусство 
построения сложных распределений из простых более подробно.
Модель смеси позволяет предварительно познакомиться с концепцией, которая 
в дальнейшем будет играть важнейшую роль –