Я. Гудфеллоу, И. Бенджио, А. Курвилль

70 

 
Теория вероятностей и теория информации 
Во-первых, многие моделируемые распределения действительно близки к нор-
мальному. Согласно 
центральной предельной теореме
, сумма многих независимых 
случайных величин аппроксимируется нормальным распределением. На практике 
это означает, что многие сложные системы успешно моделируются как нормально 
распределенный шум, даже если систему можно разложить на части с более структу-
рированным поведением.
Во-вторых, из всех возможных распределений вероятности вещественных чисел 
с одной и той же дисперсией нормальное распределение обладает максимальной не-
определенностью. То есть можно считать, что нормальное распределение привно-
сит в модель минимум априорных знаний. Для развития и обоснования этой идеи 
необходим дополнительный математический аппарат, поэтому мы отложим это до 
раздела 19.4.2. Нормальное распределение обобщается на пространство 
ℝ
n
и тогда 
называется 
многомерным нормальным распределением
. Оно параметризуется по-
ложительно определенной симметричной матрицей 
Σ
:
(3.23)
Параметр 
μ
по-прежнему задает среднее значение распределения, хотя теперь 
это вектор. Параметр 
Σ
определяет ковариационную матрицу распределения. Как 
и в одномерном случае, если требуется вычислять ФПВ многократно с разными па-
раметрами, то ковариационная матрица – не лучший способ параметризации, по-
скольку для вычисления ФПВ ее приходится обращать. Лучше использовать 
мат-
рицу точности
β
:
(3.24)
Часто ковариационная матрица является диагональной. Еще более простой слу-
чай – 
изотропное нормальное распределение
, когда ковариационная матрица не 
только диагональная, но и все элементы на диагонали одинаковы.