Federal gosudarstvennoe uchebnoe predpriyatie Chair of the System of Artificial Intelligence

3.2 Vychislenie gradienta tselevoy funktsii
sluchaynom napravlenii medlenno, no verno vÿtaskivaet v nujnuyu oblast
odnomernaya optimization iz w v napravlenii
Modified partan-method also requires memorization
vid:
,
. Poluchaem. After etogo w in napravlenii
napravlenie, then provedem odnomernuyu optimizatsiyu, then - snova
For that, the mine will correct the deficiencies of the naiskoreyshego spuska, sushchestvuet
ogromnoe number of methods. The family of such methods is an iterative and modified partan-method.
iz
Drugoy sposob - sluchaynÿy vÿbor napravleniya S dlya odnomernoy
. Potom
w vÿchislyaetsya gradient H i delaetsya shag naiskoreyshego spuska - for this
w delaetsya dva shaga
(3.5)
w v napravlenii S = provodim
odnomernuyu optimizatsiyu iz w ) s nachalnÿm shagom h = 1. After this cycle
povtoryaetsya.
predÿyavlyaet minimalnÿe trebovaniya k seti - emu neobxodimo tolko
tak k raz. Nachalnÿe parameters w pri etom xranyatsya in pamyati, promejutochnÿe - net. After k
shagov naiskoreyshego spuska poluchaem w (ot
,
ispolzuetsya. Dalee - naiskoreyshiy spusk iz
x ;
w -
situatsii, v kotoryx metod naiskoreyshego spuska ne rabotaet, a poisk v
k
Tselevaya funktsiya dlya neyroseti, izobrajennoy na risunke 2.1, imeet
parameters.
Naibolee ochevidnÿy vybor S dlya odnomernoy optimizatsii - napravlenie antigradienta H: S ÿ
ÿÿH . Vyberem na kajdom shage eto
, poluchaem
dopolnitelnoy card parameters. On stroitsya tak. From naiskoreyshego
spuska. Poluchaem. Dalee - odnomernaya optimization
- izvestnoe znachenie vyxodnoy peremennoy dlya vxodnogo vektora
x 1
,
H w , w , ..., w ÿ z ÿ z
~
0 w
3 w
0 w
0
2
0
0
0
~
ÿ
w
w
w i
w
w
w
w i t.d.
ÿ
ÿ
k w -
44
Machine Translated by Google

---

1
5
4
p ÿ f 2 w6 p3 w8 p4
3
2
p ÿ f ÿÿ 1 w5
p3 w7 p4
fwfyyp
ÿ
ÿ
ÿ
w
ÿ 5
ÿ
ÿ
z
ÿ
ÿ
ÿ
ÿ ÿ
ÿ ÿ
ÿ
ÿ ÿ
ÿ
w
fyyp
ÿ 5
z
ÿ 5
ÿ
ÿ ÿ
ÿ 9 3
fwfyyp
ÿ
w
z
fwfyyp
fwfyyp
ÿ
z
ÿ
fyyp
ÿ
w
ÿ
ÿ
ÿ ÿ
ÿ
w
z
ÿ 5
ÿ ÿ
ÿ
ÿ
w
ÿ
ÿ 5
ÿ 9 3
ÿ
z
ÿ 10 4
ÿ
ÿ 5
z - znachenie vyxodnoy peremennoy, vozvrashchaemoe neyrosetyu (2.1).
Dlya nashego sluchaya:
argument.
(3.7)
(3.6)
synapses zakanchivayutsya, umnojennuyu on proizvodnuyu funktsii fi po svoemu
Togda ispolzuya (2.1) s uchetom (3.7) poluchim:
i-go neurona, na sootvetstvuyushchie znacheniya pj tex neyronov, v kotoryx eti
Naydem chastnÿe proizvodnÿe H:
Oboznachim cherez pi summu proizvedeniy vesov sinapsov, vyxodyashchix iz
3 5
8
5
10
1 4
3
2 4
4
10 4
6
7
4 5
9
2
2
1
2 3
1
1 3
ÿ
z
w
5 p ÿ f
ÿ
ÿ
ÿ
ÿ
ÿ
ÿ
p ÿ f 4 w10
p5
ÿ
~
ÿ
2
ÿ
ÿ H
ÿ
ÿ
ÿ
ÿ ÿ ÿ
p ÿ f 3 w9 p5
zz
45
ÿ
ÿ
ÿ
ÿ
ÿ
wi
i
Machine Translated by Google

---

46
ÿ
ÿ
ÿ
ÿ
ÿ
ÿ ÿ 5
ÿ
ÿ
fwfwwfwfxxp
ÿ
ÿ
ÿ
ÿ
ÿ
ÿ
ÿ
ÿ
z
z
ÿÿ
ÿ
ÿ
ÿ ÿ 6
ÿ ÿ
w
ÿ
ÿ
ÿ ÿ 5
fwfwwfwfxxp
ÿ
ÿ
ÿ
w
ÿ
ÿ
z
ÿ
ÿ
ÿ
ÿ
ÿ
w
ÿÿ
1
fwfwwfwfxxp
ÿ
ÿ
ÿ
fwfwwfwfxxp
ÿ ÿ 6
ÿ
ÿ
z
z
ÿ
w
ÿ
ÿ
ÿ ÿ
ÿ
ÿ
ÿ
ÿ
ÿ
ÿ
ÿ
ÿ
ÿ
kvadratichnyx form: Hÿ ÿ x ÿ ÿx, Qxÿ ÿ ÿb, xÿ ÿ c . Postoyanno delayutsya popÿtki
5
10 4
3
1
wi
2
10 4
9 3
2 2
7
2
2
5
1
1 2
10 4
2 1
1
9 3
1
4
9 3
8
1
5
2
10 4
8
1
9 3
2
5
7
Idealizirovannÿy model object - putevodnaya zvezda teorii i
in parallel. Odnako, ostaetsya neudovletvorennost podkhodom v tselom. Grubo govorya, theory
bezuslovnoy optimizatsii posvyashchena minimizatsii
seti, t.e. po vxodnÿm znacheniyam rasschitany vyxodnÿe i soxraneny
orientatsiya na nego neizbejna, kakie by slova pri etom ni proiznosilis. Theory vÿpukloy optimizatsii
potomu i udalas, chto vypuklaya function
pervomu). Predvaritelno doljno bÿt zapushcheno pryamoe funktsionirovanie
mnogo lokalnyx massivov, deystviya v kotoryx mojno provodit
ravna proizvedeniyu