Я. Гудфеллоу, И. Бенджио, А. Курвилль

распространения по касательной
(tangent prop) (Simard et al., 
1992) (рис. 7.9) обучает классификатор на основе нейронной сети с дополнительным 
штрафом, цель которого – сделать каждый выход 
f
(
x
) сети локально инвариантным 
относительно известных факторов вариативности. Эти факторы соответствуют пере-
мещению вдоль многообразия, вблизи которого концентрируются примеры из од-
ного класса. Локальная инвариантность достигается за счет требования, что вектор 
∇
x 
f
(
x
) ортогонален известным касательным векторам многообразия 
v
(
i
)
в точке 
x
или, 
эквивалентно, что производная по направлению функции 
f
в точке 
x
в направлениях 
v
(
i
)
мала. Для этого добавляется регуляризирующий штраф 
Ω
:
(7.67)
Конечно, этот регуляризатор можно умножить на подходящий гиперпараметр, 
и для большинства нейронных сетей нужно будет просуммировать по многим выхо-
дам, а не ограничиваться одним выходом 
f
(
x
), как мы для простоты поступили здесь. 
Как и в алгоритме тангенциального расстояния, касательные векторы задаются зара-
нее, обычно исходя из формальных знаний о влиянии на изображения таких преобра-
зований, как параллельный перенос, поворот и масштабирование. Алгоритм распро-
странения по касательной применялся не только для обучения с учителем (Simard et 
al., 1992), но и в контексте обучения с подкреплением (Thrun, 1995).
Распространение по касательной тесно связано с пополнением набора данных. 
В обоих случаях пользователь алгоритма кодирует априорные знания о задаче, за-
давая множество преобразований, которые не должны изменять выход сети. Разни-
ца же в том, что в случае пополнения набора данных сеть явно обучается правильно 
классифицировать разные входы, созданные применением таких преобразований. 
А для распространения по касательной не нужно явно посещать новую входную точ-
ку. Вмес то этого алгоритм аналитически регуляризирует модель, обучая ее проти-
востоять возмущениям в направлениях, соответствующих заданному преобразова-
нию. Хотя такой аналитический подход обладает интеллектуальной элегантностью, 

---

Тангенциальное расстояние, алгоритм распространения по касательной 

235
у него есть два крупных недостатка. Во-первых, он регуляризирует модель только 
для противостояния бесконечно малым возмущениям. Явное пополнение набора 
данных прививает устойчивость к более сильным возмущениям. Во-вторых, инфи-
нитезимальный подход испытывает трудности в применении к моделям, основанным 
на блоках линейной ректификации. В таких моделях уменьшение производных до-
стигается только путем отключения блоков или уменьшения их весов. Они не могут 
уменьшить производные путем насыщения при больших значениях с сохранением 
больших весов, как сигмоида или гиперболический тангенс. Что же касается попол-
нения набора данных, то оно хорошо работает с блоками линейной ректификации, 
поскольку для разных преобразованных вариантов одних и тех же исходных данных 
могут активироваться различные подмножества ректифицированных блоков.
Нормаль Касательная
x
1
x
2