Ын Анналин, Су Кеннет

161
11.5. Ограничения
Несмотря на теоретическую возможность имитации 
человеческого разума, нейронные сети не лишены не-
скольких недостатков. Для борьбы с ними разработаны 
различные методы.
Для обучения нужен большой объем данных. Слож-
ность нейронной сети позволяет распознавать входящие 
данные по замысловатым признакам, но это возможно 
только при значительных объемах данных для обучения. 
Если обучающий сегмент слишком мал, то возможно 
переобучение (раздел 1.3). Но если получение большего 
количества данных для обучения затруднительно, то 
с минимальным риском переобучения можно восполь-
зоваться следующими методами.

Подвыборка. Для того чтобы снизить чувствитель-
ность нейронов к шуму, входные данные могут быть 
«сглажены» путем подвыборки. Это достигается пу-
тем получения средних значений входного сигнала. 
Если, например, проделывать это с изображениями, 
то можно уменьшить их размер или снизить его кон-
трастность.

Искажения. При нехватке данных для обучения мож-
но получить больше данных путем внесения искаже-
ний в каждую картинку. Используя каждое искажен-
ное изображение в качестве новых входных данных, 

---

162
Глава 11
. 
Нейронные сети
можно увеличить размер обучающего набора. При 
этом используемые искажения должны соответство-
вать данным из исходного набора. Например, в случае 
с рукописными цифрами изображения могут быть 
повернуты для имитации манеры людей писать под 
углом, а также просто растянуты или сжаты в отдель-
ных местах (эластичная деформация) для имитации 
колебаний мышц руки.

Исключение, или дропаут. Если данных для обуче-
ния немного, нейроны имеют меньше возможностей 
для формирования связей с другими нейронами, 
что приводит к переобучению из-за того, что малые 
нейронные кластеры развивают чрезмерную зависи-
мость друг от друга. Этому можно противопоставить 
исключение половины нейронов в течение одного 
цикла обучения. Эти исключенные нейроны будут 
деактивированы, и оставшиеся будут действовать так, 
как если бы тех нейронов не было вовсе. Затем на сле-
дующей итерации окажется исключен другой набор 
нейронов. Благодаря этому исключение принуждает 
различные комбинации нейронов к взаимодействию, 
чтобы они выявили в обучающих примерах больше 
признаков.