Нейронную

100 
Глава 1. Как работают нейронные сети

---

Чтобы убедиться в том, насколько они не тривиальны, достаточ­
но взглянуть на приведенное ниже устрашающее выражение, кото­
рое представляет выходной сигнал узла выходного слоя как функ­
цию входных сигналов и весовых коэффициентов связей для простой 
нейронной сети с тремя слоями по три узла. Входной сигнал на узле 
i равен х., весовой коэффициент для связи, соединяющей входной 
узел i с узлом j скрытого слоя, равен w. ^ Аналогичным образом вы­
ходной сигнал узла j скрытого слоя равен х., а весовой коэффициент 
для связи, соединяющей узел j скрытого слоя с выходным узлом к, 
равен w. к. Необычный символ £аь означает суммирование следующего 
за ним выражения по всем значениям между а и Ь.
Ничего себе! Лучше держаться от этого подальше.
А не могли бы мы вместо того, чтобы пытаться выглядеть очень 
умными, просто перебирать случайные сочетания весовых коэффи­
циентов, пока не будет получен устраивающий нас результат?
Этот вопрос не столь уж наивен, как могло бы показаться, особен­
но когда задача действительно трудная. Такой подход называется 
методом грубой силы. Некоторые люди пытаются использовать ме­
тоды грубой силы для того, чтобы взламывать пароли, и это может 
сработать, если паролем является какое-либо осмысленное слово, 
причем не очень длинное, а не просто набор символов. Такая зада­
ча вполне по силам достаточно мощному домашнему компьютеру. 
Но представьте, что каждый весовой коэффициент может иметь 
1000 возможных значений в диапазоне от -1 до +1, например 0,501, 
-0,203 или 0,999. Тогда в случае нейронной сети с тремя слоями
Как мы фактически обновляем весовые коэффициенты 
101

---

по три узла, насчитывающей 18 весовых коэффициентов, мы долж­
ны были бы протестировать 18 тысяч возможностей. Если бы у нас 
была более типичная нейронная сеть с 500 узлами в каждом слое, то 
нам пришлось бы протестировать 500 миллионов различных значе­
ний весов. Если бы для расчета каждого набора комбинаций требо­
валась одна секунда, то для обновления весов с помощью всего лишь 
одного тренировочного примера понадобилось бы примерно 16 лет. 
Тысяча тренировочных примеров — и мы имели бы 16 тысяч лет!
Как видите, подход, основанный на методе грубой силы, практи­
чески нереализуем. В действительности по мере добавления в сеть 
новых слоев, узлов или вариантов перебора весов ситуация очень бы­
стро ухудшается.
Эта головоломка не поддавалась математикам на протяжении мно­
гих лет и получила реальное практическое разрешение лишь в 1960- 
1970-х годах. Существуют различные мнения относительно того, 
кто сделал это впервые или совершил ключевой прорыв, но для нас 
важно лишь то, что это запоздалое открытие послужило толчком 
к взрывному развитию современной теории нейронных сетей, кото­
рая сейчас способна решать некоторые весьма впечатляющие задачи.
Но все же, как нам разрешить эту явно трудную проблему? Хотите 
верьте, хотите нет, но вы уже владеете средствами, с помощью кото­
рых сможете справиться с этим самостоятельно. Все, что вам для это­
го нужно знать, мы уже обсуждали. Теперь можем продолжить.
Самое главное, что требуется от нас, — это не бояться пессимизма.
Математические выражения, позволяющие определить выходной 
сигнал нейронной сети при известных весовых коэффициентах, не­
обычайно сложны, и в них нелегко разобраться. Количество различ­
ных комбинаций слишком велико для того, чтобы пытаться тестиро­
вать их поочередно.
Для пессимизма есть и ряд других причин. Тренировочных дан­
ных может оказаться недостаточно для эффективного обучения сети. 
В тренировочных данных могут быть ошибки, в связи с чем спра­
ведливость нашего предположения о том, что они истинны и на них 
можно учиться, оказывается под вопросом. Количество слоев или 
узлов в самой сети может быть недостаточным для того, чтобы пра­
вильно моделировать решение задачи.
Это означает, что предпринимаемый нами подход должен быть 
реалистичным и учитывать указанные ограничения. Если мы будем