Я. Гудфеллоу, И. Бенджио, А. Курвилль

208 

 
Регуляризация в глубоком обучении 
7.3. Регуляризация и недоопределенные задачи
В некоторых случаях без регуляризации просто невозможно корректно поставить за-
дачу машинного обучения. Многие линейные модели в машинном обучении, в т. ч. 
линейная регрессия и PCA, включают обращение матрицы 
X
⏉
X
. Это невозможно, 
если 
X
⏉
X
сингулярна. Матрица может оказаться сингулярной, если порождающее 
распределение действительно не имеет дисперсии в некотором направлении или если 
в некотором направлении не наблюдается дисперсии, потому что число примеров 
(строк 
X
) меньше числа входных признаков (столбцов 
X
). В таком случае во многих 
вариантах регуляризации прибегают к обращению матрицы 
X
⏉
X
+ 
α
I
. Гарантируется, 
что такая регуляризированная матрица обратима.
У этих линейных задач может существовать решение в замкнутой форме, если со-
ответствующая матрица обратима. Может также случиться, что задача, не имеющая 
решения в замкнутой форме, недоопределена. Примером является применение ло-
гистической регрессии к задаче, в которой классы линейно разделимы. Если вектор 
весов 
w
может дать идеальную классификацию, то вектор 2
w
также дает идеальную 
классификацию, но более высокое правдоподобие. Итеративная процедура оптими-
зации, например стохастический градиентный спуск, будет все время увеличивать 
абсолютную величину 
w
и теоретически никогда не остановится. На практике рано 
или поздно веса достигнут такой величины, что произойдет переполнение, и даль-
нейшее поведение зависит от того, как программист решил обрабатывать значения, 
не являющиеся числами.
В большинстве вариантов регуляризации гарантируется сходимость итерацион-
ных методов, применяемых к недоопределенным задачам. Например, в случае сни-
жения весов градиентный спуск перестанет увеличивать веса, когда угловой коэффи-
циент правдоподобия сравняется с коэффициентом снижения весов.
Идея применения регуляризации к решению недоопределенных задач выходит за 
рамки одного лишь машинного обучения. Она полезна и в нескольких классических 
задачах линейной алгебры.
В разделе 2.9 мы видели, что недоопределенную систему линейных уравнений 
можно решить с помощью псевдообратной матрицы Мура–Пенроуза. Напомним ее 
определение: