Я. Гудфеллоу, И. Бенджио, А. Курвилль

8.7.2. Покоординатный спуск
В некоторых случаях задачу оптимизации можно быстро решить, разбив на отдель-
ные части. Если минимизировать 
f
(
x
) сначала по переменной 
x
i
, затем по переменной 
x
j
и т. д., перебрав в цикле все переменные, то мы гарантированно окажемся в (ло-
кальном) минимуме. Такой подход называется 
покоординатным спуском
, поскольку 
в каждый момент времени производится оптимизация по одной координате. В более 
общем случае 
блочно-покоординатного спуска
одновременно производится мини-
мизация по подмножеству переменных. Термин «покоординатный спуск» часто упо-
требляется не только в своем строгом смысле, но и для обозначения блочно-покоор-
динатного спуска.
Покоординатный спуск наиболее осмыслен, когда различные переменные в задаче 
оптимизации можно разбить на группы с относительно изолированными ролями или 
когда оптимизация по одной группе переменных значительно эффективнее, чем по 
всем. Рассмотрим, к примеру, такую функцию стоимости:
(8.38)
Эта функция описывает проблему обучения, которая называется разреженным ко-
дированием. Цель состоит в том, чтобы найти матрицу весов 
W
, которая может ли-
нейно декодировать матрицу значений активации 
H
и реконструировать обучающий 
набор 
X
. В большинстве применений разреженного кодирования участвует также 
снижение весов или ограничение на нормы столбцов 
W
, чтобы предотвратить пато-
логические решения с очень малой 
H
и большой 
W
.
Функция 
J
невыпуклая. Однако мы можем разбить входы алгоритма обучения на 
два множества: словарные параметры 
W
и представление кода 
H
. Минимизация це-
левой функции по любому из этих двух множеств – выпуклая задача. Поэтому метод 
блочно-покоординатного спуска позволяет использовать эффективные алгоритмы 
выпуклой оптимизации, выполнив сначала оптимизацию по