Я. Гудфеллоу, И. Бенджио, А. Курвилль

временем приработки
, или 
временем 
перемешивания
(mixing time). Проверить, достигла ли марковская цепь равновесия, 
тоже трудно. Теория недостаточно точна для ответа на этот вопрос. Утверждается 
лишь, что цепь сходится, но не более того. Анализ марковской цепи с точки зрения 
воздействия матрицы 
A
на вектор вероятностей 
v
показывает, что цепь приработа-
лась, когда 
A
t
потеряла практически все собственные значения 
A
, кроме единствен-
ного, равного 1. Это означает, что абсолютная величина второго по величине соб-
ственного значения определяет время перемешивания. Но на практике мы не можем 
представить марковскую цепь матрицей. Число возможных состояний вероятност-
ной модели экспоненциально зависит от числа переменных, поэтому представить 
v
, 
A
или собственные значения 
A
не получится. Из-за этого и других препятствий мы 
обычно не знаем, приработалась ли цепь. Вместо этого мы просто даем цепи прорабо-
тать какое-то время, которое считаем достаточным, исходя из грубой оценки, и при-
меняем эвристические методы, чтобы понять, приработалась ли цепь. К числу таких 
методов относится просмотр примеров вручную или измерение корреляции между 
соседними примерами.
17.4. Выборка по Гиббсу
До сих пор мы говорили о том, как производить выборку из распределения 
q
(
x
) путем 
повторного обновления 
x
←
x
′
∼
T
(
x
′
| 
x
). Мы ничего не сказали о том, как убедить-
ся, что 
q
(
x
) – полезное распределение. В этой книге рассматриваются два основных 
подхода. Первый – вывести 
T
из заданного обученного распределения 
p
model
– описан 
ниже вместе со случаем выборки из энергетической модели. Второй – непосредствен-
но параметризовать и обучить 
T
, так чтобы его стационарное распределение неявно 
определяло интересующее нас распределение 
p
model
. Примеры второго подхода обсуж-
даются в разделах 20.12 и 20.13.
В контексте глубокого обучения мы обычно используем марковские цепи, что-
бы производить выборку из энергетической модели, определяющей распределение 
p
model
(