Future Generation Computer Systems 111 (2020) 570-581 Contents lists available at



Download 1,11 Mb.
Pdf ko'rish
bet8/19
Sana04.03.2022
Hajmi1,11 Mb.
#483111
1   ...   4   5   6   7   8   9   10   11   ...   19
Bog'liq
Efficient development of high performance data analytics


partitions
is a list of future objects
resulting from the
read_partition
tasks. We assume that the
input dataset is divided in a collection of files, and run one
read_partition
task per file.
The first section of the iteration (lines 5–7) spawns a
train
task for each partition, and stores the results in the list
q
(line 7).
These
train
tasks correspond to the first layer of the iteration,
and train each partition merged with the support vectors of
the previous iteration (line 6). In the case of the first iteration,
feedback
is empty. This means that
data
will be a list of support
vectors in the first iteration and two lists of support vectors in
the remaining iterations. The fact that
data
is a list of objects of


J. Álvarez Cid-Fuentes, P. Álvarez, R. Amela et al. / Future Generation Computer Systems 111 (2020) 570–581
575
Fig. 6.
Diagram of the C-SVM training process for
A
=
2 extracted from Graf
et al. [
41
]. The support vectors obtained in one iteration (SV15) are combined
with the input data for the next iteration.
unknown size is expressed with the
*
symbol. After this section,
q
contains a list of future objects that represent sets of support
vectors.
In the second section of the iteration (lines 10–14), the al-
gorithm performs the reduction process. For this, we remove
self._cascade_arity
number of elements from
q
(lines 11–
12), and spawn a
train
task that merges and trains these
elements (line 14). The support vectors returned by this task
are inserted in
q
again, and the process is repeated until
q
contains
self._cascade_arity
elements
or
less.
Thus,
self._cascade_arity
controls the arity of the reduction pro-
cess.
The final section of the iteration (line 17) consists of spawn-
ing the last
train
task, and synchronizing using the
compss_
wait_on
method. This synchronization is required to get the
actual result of the last
train
task and check the convergence.
Note that the code is completely equivalent to a sequential im-
plementation of C-SVM except for the
compss_wait_on
call and
the
@task
annotation.
Fig. 8
shows the definition of the
train
task. This task simply
merges together the variable number of input lists received, and
carries out the training process using scikit-learn’s
SVC
class.

Download 1,11 Mb.

Do'stlaringiz bilan baham:
1   ...   4   5   6   7   8   9   10   11   ...   19




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish