В современных системах автоматизированного проектирования ши


Теоретический подход к возможности



Download 6,41 Mb.
Pdf ko'rish
bet39/96
Sana28.06.2022
Hajmi6,41 Mb.
#717149
1   ...   35   36   37   38   39   40   41   42   ...   96
Bog'liq
buuk 5

3.3. Теоретический подход к возможности 
ускоренного обучения нейронных сетей
за счёт адаптивного упрощения
обучающей выборки
С увеличением размерности задач, возлагаемых на интеллектуаль-
ные системы, повышение скорости и качества обучения НС приобретает 
всё большее значение. Подтверждением этому является значительное ко-
личество исследований, направленных на ускорение обучения НС. Во мно-
гих предложенных методах увеличение скорости достигается за счёт мо-
дификации метода градиентного спуска, основанной на предположении о 
том или ином характере исходных данных [15]. Также часто используется 
динамическое изменение шага обучения [16, 17], дополнительные методы 
вывода НС из локального минимума [18]. Однако перечисленные методы 
не учитывают то обстоятельство, что дополнительное повышение скорости 


92
и качества обучения может быть достигнуто и за счёт обработки данных, 
на которых это обучение происходит. 
Обратившись к естественным обучающимся системам, можно заме-
тить, что чаще всего обучение происходит не сразу на всём обучающем 
множестве (которым для естественных систем являются объекты реально-
го мира), а на его упрощенной модели, отражающей лишь некоторые при-
меры и закономерности. По мере усвоения более простого материала мо-
дель становится всё более подробной и адекватной. То есть обучение про-
исходит как бы «от простого к сложному». Исследование применимости 
такого подхода для повышения качества и скорости обучения НС и являет-
ся данной целью. 
Сложность обучающей выборки
и способы её снижения
Под сложностью ОВ подразумевается сложность её аппроксимации 
нейронной сетью, которую для пары наборов (
X
;
Y
)

, (
X
;
Y
)
j
 
можно охарак-
теризовать следующим образом [35]: 
,
i
j
i
j
Y
Y
L
X
X



(3.24) 
где

и 


 
соответственно входные и выходные вектора.
Сложность воспроизведения всей ОВ может быть получена расчётом 
среднего или максимального и минимального значений 
L
ij
 
для всех пар на-
боров. Применение соотношения (3.24), в теории непрерывных функций 
называемого константой Липшица, с целью оценки обучающей возможно-
сти ОВ неоднократно обсуждалось в литературе и показало свою практи-
ческую применимость [19, 20]. Одним из способов снижения сложности 


93
ОВ является искусственное сближение выходных векторов для наборов
входные вектора которых находятся близко друг к другу. При этом выход-
ной вектор набора 

упрощённой выборки ОВ' рассчитывается как среднее 
выходных векторов наборов исходной выборки ОВ, взвешенное по функ-
ции от расстояния до входного вектора 
k
-го набора 
.
i
ik
i
k
ik
i
Y c
Y
c

 


(3.25) 
Роль взвешивающей функции может выполнять функция от расстоя-
ния между входными векторами, удовлетворяющая следующим условиям: 
1. Существовать и быть неотрицательной на всём множестве возмож-
ных значений расстояния. 
2. Убывать с увеличением расстояния. 
3. В зависимости от некоторого параметра 
α
изменять скорость убы-
вания. 
Таким образом, параметр 
α
определяет «крутизну» взвешивающей 
функции и задаёт степень упрощения исходной выборки. Одной из наибо-
лее известных и широко применяемых функций, удовлетворяющих пере-
численным условиям, является функция Гаусса [32÷35], которую и предла-
гается использовать в качестве взвешивающей: 
2
.
k
i
X
X
ij
c
e









(3.26) 
Ниже приведён пример упрощения функции одной переменной при 
различных значениях параметра 
α
(рис. 3.10). 
Для количественной оценки упрощения ОВ в процессе обучения НС 
рассмотрим следующие величины: 
δ
(ОВ; ОВ) – отклонение упрощенной выборки от исходной; 



Download 6,41 Mb.

Do'stlaringiz bilan baham:
1   ...   35   36   37   38   39   40   41   42   ...   96




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish