JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 13. Резюме, заключительные слова и дальнейшие источники информации
537
данных
(adversarial examples), специ­
ально создаваемыми для того, чтобы 
обманом заставить модель глубокого 
обучения допускать ошибки классифи­
кации. Мы показали при поиске наи­
более активирующих изображений для 
фильтров сверточной сети в разделе 7.2, 
как производить градиентный подъем 
в пространстве входных данных с це­
лью максимизации активации фильтра 
сверточной сети. Эту идею можно рас­
пространить на выходные вероятности 
и максимизировать предсказываемые 
моделью вероятности для любого вы­
ходного класса с помощью градиентного 
подъема в пространстве входных данных. Мы можем добавить к изображению панды 
градиент гиббона и модель ошибочно классифицирует данное изображение как изо­
бражение гиббона (рис. 13.3), несмотря на то что градиент гиббона мал по величине 
и напоминает шум, так что получившееся в результате состязательное изображение 
не отличается для человеческого глаза от исходного изображения панды.
Рис. 13.3.
Состязательный пример данных: незаметные человеческому глазу изменения могут 
привести к неправильному результату классификации глубокой сверточной сетью. См. дальнейшее 
обсуждение состязательных атак на глубокие нейронные сети по адресу http://mng.bz/pyGz
Рис. 13.2.
Ошибка модели, предназначенной 
для добавления подписей к изображениям, 
обученной с помощью глубокого обучения

---

538
Часть IV • Резюме и заключительное слово
Таким образом, предназначенные для компьютерного зрения глубокие нейрон­
ные сети не способны «понимать» изображения, по крайней мере в общечелове­
ческом смысле. Еще одна область, в которой обучение людей резко отличается от 
глубокого обучения, — обобщение на данные, выходящие за рамки ограниченного 
количества обучающих примеров. Глубокие нейронные сети способны на так назы­
ваемое 
локальное обобщение
(local generalization). На рис. 13.4 приведен сценарий, 
в котором перед глубокой нейронной сетью и человеком ставится одна и та же задача 
усвоения границ отдельного класса в двумерном параметрическом пространстве 
исходя из очень небольшого количества (скажем, восьми) обучающих примеров 
данных. Человек понимает, что граница класса должна быть гладкой, а область — 
связной, и быстро интуитивно рисует замкнутую кривую. Нейронной сети, в отличие 
от него, недостает абстракции и априорных знаний, в результате чего она может 
нарисовать несколько импровизированных неровных границ, сильно подогнанных 
к немногочисленным имеющимся обучающим примерам данных. Обученная на 
этих примерах модель будет очень плохо обобщаться на другие данные. Помочь 
может добавление дополнительных примеров данных, но это не всегда возможно 
на практике. Основная проблема: нейронная сеть создается с нуля под конкретную 
задачу. В отличие от человека, у нее нет никаких априорных знаний, поэтому она 
не знает, «чего ждать»
1
. В этом и состоит основная причина главного ограничения 
современных алгоритмов глубокого обучения, а именно: для достижения глубокой 
нейронной сетью удовлетворительной точности обобщения необходим большой 
объем маркированных вручную обучающих данных.