A novel Approach of Iot stream Sampling and Model Update on the Iot edge Device for Class Incremental Learning in an Edge-Cloud System

L
c
∈
{
l
c
0
,
l
c
1
,
l
c
2
, . . .
l
c
n
c
} where
L
c
is sorted in ascending order.
L
c
is computed using the
cross-entropy loss function and
µ
c
L
is the median of the losses
of
n
c
samples. In our method, we use a pre-trained feature
extractor with a single layer neural network whose weights
are completely randomly initialized for data sampling. The
formulas used to discard training samples at the IoT edge
device are described one step at a time below.
l
c
i
= −
X
j
(
y
c
i
)
j
·
log
e
(
ϕ
(
W
0
x
c
i
+
b
0
))
j
(1)
In (
1
), the cross-entropy values of incoming samples are
calculated as the first step of our DDC algorithm where
x
c
i
is
the feature map
i
of class
c
coming into the SoftMax layer,
y
c
i
is the one-hot label corresponding to
x
c
i
.
W
0
and
b
0
are
the weights and biases of the new randomly initialized
n
neurons in the SoftMax layer on the IoT edge device where
n
is the new number of classes to be learnt.
ϕ (
·
)
is the SoftMax
function.
j
is the index of the newly added neurons (in the
SoftMax layer).
l
c
i
is the loss of the sample
i
of set
L
c
.
σ
c
L
=
s
P
n
c
i
=
1
(
l
c
i
−
µ
c
L
)
2
n
c
(2)
In (
2
) we propose the term
σ
c
L
that denotes by how much
the metrics
l
c
i
differ from the median (
µ
c
L
) of the distribution
of the set
L
c
of class
c
. We use the median value instead of
the mean in order to protect our DDC algorithm from skewed
entropy values in
L
c
. For example, a skewed value can be an
extremely high entropy value in
L
c
that would largely affect
the mean value of
L
c
. This could greatly increase the value
of
L
c
cutoff
in (
3
) which would lead to an extremely high data
sampling rate and thus affecting the learning performance of
the model on the cloud. However, the median of
L
c
does not
get affected by such skewed values. As a result, the data sam-
pling rate remains stable as per (
3
) and (
4
). This is the second
step of our DDC algorithm.
L
c
cutoff
=
(
(
l
c
i
·
I
µ
c
L
−