В современных системах автоматизированного проектирования ши

Обучение с учётом ПРИНЦИПА ДОСТАТОЧНОСТИ
Нейронные сети используются для решения ряда задач искусствен-
ного интеллекта. Рассмотрим обучение многослойной нейронной сети с 
обратным распространением ошибки в рамках решения задач классифика-
ции [49]. 
В процессе обучения нейронных сетей, в числе прочих, можно выде-
лить два вида ошибки, назовём их глобальной и локальной.
Выражение для вычисления локальной ошибки имеет следующий вид 
2
1
;
m
k
i
e
E
m


(3.1) 
e
k
= 
Y
k
– 
A
k
, 
где
e
k
– элементарная ошибка 
k
-го нейрона выходного слоя сети; 
m
– чис-
ло нейронов в выходном слое сети. 
Глобальная ошибка сети вычисляется по следующей формуле 

---

73
2
1
,
n
i
E
E
n


(3.2) 
где
E
i
– локальная ошибка нейронной сети на 
i
-м наборе; 
n
– число обу-
чающих наборов. 
Идеально обученной считается такая сеть, которая полностью повто-
ряет ОВ [50], то есть её глобальная ошибка равна нулю. Но обучение ней-
ронной сети до такой степени представляет собой очень трудоёмкую зада-
чу, а нередко и вовсе неразрешимую. Эти трудности обычно связаны с тем, 
что разные классы имеют похожие объекты, и чем таких объектов больше 
и чем более они похожи, тем труднее будет обучить нейронную сеть. 
Суть ПД заключается в отказе от обязательного стремления к Идеалу 
при поиске решения конкретной задачи. Рассматривая эту проблему с точ-
ки зрения ПД в рамках глобальной и локальной ошибки, можно сказать, 
что далеко не всегда необходима 100%-ая точность распознавания. Иногда, 
для того чтобы отнести исследуемый объект к заданному классу, доста-
точно, чтобы ошибка сети на данном наборе не превышала некоторого 
δ
. 
Минимальное значение 
δ 
зависит от характера обучающей выборки. 
В качестве параметров характеризующих ОВ рассмотрим её полноту, рав-
номерность и противоречивость.
Полнота выборки характеризуется обеспеченностью классов обу-
чающими наборами. Количество обучающих наборов для класса должно 
быть в 3÷5 раз больше, чем используемое в наборе число признаков класса.
Пусть величина, характеризующая полноту выборки, вычисляется 
следующим образом: 
100% ,
F
OB
N
F
N


(3.3) 
где 
N
F
 
– число классов удовлетворяющих указанному условию; 
N 
– общее 

---

74
число классов. 
Равномерность ОВ показывает, насколько равномерно распределены 
обучающие наборы по классам. Для её вычисления рассмотрим величину 
[
C
i
] – количество обучающих наборов для класса 
i
. Тогда среднее отклоне-
ние этой величины по выборке для данного класса будет вычисляться по 
формуле 
   


2
1
;
,
1
i
k
i
k
C
C
C
k
i
k






(3.4) 
где
k
– количество классов.
Вычислим математические ожидания для величин 
i
C

и [
C
i
]
 
при ус-
ловии, что они равновероятны и назовём их соответственно 
R
Δ
 
и 
N
cp
: 
1
;
i
k
C
R
k




(3.5) 
 
1
.
k
k
ср
C
N
k


Тогда равномерность выборки будет вычисляться по формуле 
1
.
OB
ср
R
R
N

 
(3.6) 
Противоречивость – как процент противоречивых наборов в ОВ мо-
жет быть представлена в виде 
,
ПР
OB
N
С
N

(3.7) 
где 
N
np
 
– число противоречивых наборов; 
N 
– общее число наборов в ОВ.

---

75
Очевидно, что чем меньше противоречивость ОВ и выше её равно-
мерность, тем уже может быть интервал 
δ
. 
Однако, в процессе обучения объекты классов, попадая в интервал 
δ
, 
ложатся неравноудалённо от Эталона класса (рис. 3.6,а). Дифференцирова-
ние этих ситуаций позволит улучшить качество обучения сети, поскольку 
позволит корректировать веса с учётом удаленности реакции сети от эта-
лонной. В данном случае, расстояние до эталона будет определять величи-
ну градиента изменения веса. Для этого необходимо либо разбить область 
δ
на отрезки и каждому из них поставить в соответствие значение градиен-
та (рис. 3.6,б), либо задать на этом интервале функцию 
a
(
t
) = 
F
(
x
)
 
(рис. 
3.6,в) [51÷56].
Таким образом, предполагалось уменьшить число итераций обуче-
ния нейронной сети при заданной точности распознавания элементов вы-
борки. 
Результатом применения этого метода стало то, что функция ошибки 
сети 
E 
из колебательной становилась фактически монотонно убывающей. 
В оригинальном варианте алгоритма обратного распространения 
ошибки [50] изменения весовых коэффициентов, для пары нейронов 
i
, 
j
(рис. 3.7), выглядят следующим образом: 
1
,
t
t
t
i j
i j
j
i
W
W
E
A






где
E
j
– ошибка 
j
-ro нейрона;
A
i
– уровень активации 
i
-ro нейрона;
α
– 
шаг изменения веса.
Здесь 
α
– величина постоянная. Очевидно, что если шаг будет слиш-
ком мал, то обучение будет проходить очень медленно. Если же 
α
велик – 
то, в момент достижения точки минимума (глобального или локального) 
функции ошибки 
E
= 
f
(
W
) (
E
– глобальная ошибка сети; 
W
– множество 
весовых коэффициентов сети) (рис. 3.8), сеть не сможет в неё попасть и 

---