Я. Гудфеллоу, И. Бенджио, А. Курвилль

темперированных переходах
(Neal, 1994), вре-
менно производят выборку из высокотемпературных распределений, чтобы пере-
мешать разные моды, а затем возобновляют выборку из распределения с единичной 
температурой. Такие методы применялись к моделям типа ОМБ (Salakhutdinov, 
2010). Другой подход – использование 
параллельного темперирования
(Iba, 2001), 
когда марковская цепь параллельно имитирует много различных состояний при раз-
ных температурах. Высокотемпературные состояния медленно перемешиваются, 
а низкотемпературные (с температурой 1) дают верные выборки из модели. Опера-
тор перехода включает стохастический обмен состояний из двух разных температур-
ных режимов, так чтобы пример с достаточно большой вероятностью из высокотем-
пературного состояния мог перескочить в низкотемпературное. Этот подход также 
применялся к ОМБ (Desjardins et al., 2010; Cho et al., 2010). Хотя темперирование – 
многообещающая идея, в настоящее время она не позволила далеко продвинуться 
в решении проблемы выборки из сложных энергетических моделей. Возможно, дело 
в том, что существуют 
критические температуры
, в окрестности которых темпера-
турный переход (постепенное понижение температуры) должен быть очень медлен-
ным, и только тогда темперирование оказывается эффективным.
17.5.2. Глубина может помочь перемешиванию
Говоря о выборке из модели с латентными переменными 
p
(
h
, 
x
), мы видели, что если 
p
(
h
| 
x
) кодирует 
x
слишком хорошо, то выборка из 
p
(
x
| 
h
) не сильно изменяет 
x
, и пе-
ремешивание оказывается плохим. Один из способов решения этой проблемы – сде-
1
Темперированием в металлургии называют процесс закалки сплава с последующим отпус-
ком. – 
Прим. перев.

---

Проблема перемешивания разделенных мод 
