A novel Approach of Iot stream Sampling and Model Update on the Iot edge Device for Class Incremental Learning in an Edge-Cloud System

l
c
i
< σ
c
L
)
,
I
(
∗
)
=
1
,
i
>
0
l
c
0
,
I
(
∗
)
=
0
,
i
=
0
(3)
In (
3
),
I
(
·
) is the indicator function whose output is 1 if
the condition inside the indicator function is true or else the
output is 0. The term
L
c
cutoff
is the cut-off loss which also
tells us about the number of samples with low loss values
with respect to the training distribution. Determining the
value of
L
c
cutoff
is the third step of our DDC algorithm. The
total number of samples to be discarded from class
c
(
τ
c
) is
expressed in (
4
) which is the final step of our DDC algorithm.
In (
4
), let
V
c
be a set containing all loss values smaller than
L
c
cutoff
.
τ
c
=
X
l
∈
V
c
1
(4)
In (
3
), if the distance between the low loss values in
L
c
and
µ
c
L
is smaller than
σ
c
L
, then we count all such samples that
satisfy this condition. This process repeats iteratively until a
sample is encountered where the distance between its loss and
the median is greater than the standard deviation which means
the largest loss value in
L
c
that satisfies (
3
) is considered to
be the cut off loss (
L
c
cutoff
).
L
c
cutoff
is then used to count the
number of samples to be discarded i.e., the number of values
in
L
c
that have values less than
L
c
cutoff
is denoted by
τ
c
i.e.,
the number of samples to be discarded.
For each class, the loss distribution
L
c
is sorted in ascend-
ing order.
σ
c
L
denotes how far apart the values in
L
c
differ
from
µ
c
L
in general. However, in such distributions, there
can be values in
L
c
whose distance from
µ
c
L
is less than
σ
c
L
and there can also be values in
L
c
whose distance from
µ
c
L
is greater than
σ
c
L
due to the variations in the images per
class which also means varying entropies of images per class
as well. Images with high loss values can be beneficial for
neural network training, because a high loss value implies a
lot of weights will have to be fine-tuned thus improving the
generality of the model as compared to images with low loss
VOLUME 9, 2021
29185

---

S. Dube
et al.
: Novel Approach of IoT Stream Sampling and Model Update on the IoT Edge Device
values. Images with already low loss values cannot have their
values greatly reduced as compared to images with high loss
values. Hence, we must count the low loss values in
L
c
that
vary slightly from
µ