Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
и 
x
′
. Это побуждает 
классификатор обучать функцию, устойчивую к малым изменениям вдоль многооб-
разия, на котором лежат непомеченные данные. В основу этого подхода положено 
предположение о том, что разные классы обычно лежат на несвязных многообразиях, 
так что малое возмущение не может привести к «перепрыгиванию» с одного много-
образия на другое.
7.14. Тангенциальное расстояние, 
алгоритм распространения по касательной 
и классификатор по касательной к многообразию
Многие алгоритмы машинного обучения стремятся преодолеть проклятие размерно-
сти, предполагая, что данные лежат в окрестности многообразия низкой размерности 
(см. раздел 5.11.3).

---

234 

 
Регуляризация в глубоком обучении 
Одна из ранних попыток воспользоваться гипотезой о многообразии – алгоритм 
тангенциального расстояния
(tangent distance) (Simard et al., 1993, 1998). Это не-
параметрический алгоритм ближайшего соседа, в котором в качестве метрики ис-
пользуется не обычное евклидово расстояние, а расстояние, выведенное из знания 
о многообразиях, вблизи которых сконцентрирована вероятность. Предполагает-
ся, что мы пытаемся классифицировать примеры и что примеры, принадлежащие 
одному и тому же многообразию, относятся к одной и той же категории. Посколь-
ку классификатор должен быть инвариантен относительно локальных факторов 
вариативности, соответствующих перемещению по многообразию, имеет смысл 
использовать в качестве меры близости соседей 
x
1
и 
x
2
расстояние между много-
образиями 
M
1
и 
M
2
, которым эти точки принадлежат. Эта задача может оказаться 
вычислительно трудной (для нахождения ближайшей пары точек на 
M
1
и 
M
2
необ-
ходимо решить задачу оптимизации), но есть и дешевая альтернатива – локально 
аппроксимировать 
M
i
касательной плоскостью в точке 
x
i
и измерить расстояние 
между двумя касательными или между точкой и касательной плоскостью. Для это-
го нужно решить систему небольшого числа линейных уравнений (их число равно 
размерности многообразий). Разумеется, в этом алгоритме необходимо задать ка-
сательные векторы.
Похожий алгоритм