Я. Гудфеллоу, И. Бенджио, А. Курвилль

w
мо-
жет измениться на 
ε
||
w
||
1
, а в случае многомерного вектора 
w
эта величина может ока-
заться очень большой. Состязательное обучение подавляет такое излишне локально 
чувст вительное линейное поведение, побуждая сеть сохранять локальное постоянство 
в окрестности обучающих данных. Это можно рассматривать как явное введение апри-
орной информации о локальном постоянстве в нейронную сеть, обучаемую с учителем.
Состязательное обучение иллюстрирует широкие возможности использования 
большого семейства функций в комбинации с агрессивной регуляризацией. Чисто 
линейные модели, например логистическая регрессия, не могут противостоять состя-
зательным примерам, поскольку обязаны быть линейными. Нейронные сети способ-
ны представлять функции от почти линейных до почти локально постоянных и пото-
му обладают достаточной гибкостью, чтобы уловить в обучающих данных тенденцию 
к линейности и вместе с тем обучиться противостоять локальным возмущениям.
Состязательные примеры предоставляют также средства для обучения с частич-
ным привлечением учителя. Если с точкой 
x
не ассоциирована метка, то модель сама 
назначает ей некоторую метку 
y
�
. Назначенная моделью метка может отличаться от 
истинной, но если модель высокого качества, то вероятность правильности 
y
�
велика. 
Мы можем поискать состязательный пример 
x
′
, который заставляет классификатор 
выдать метку 
y
′
– такую, что 
y
′
 
≠
y
�
. Состязательные примеры, при генерации которых 
используется не истинная метка, а метка, назначенная обученной моделью, называ-
ются 
виртуальными состязательными примерами 
(Miyato et al., 2015). Затем класси-
фикатор можно обучить назначать одинаковые метки примерам