A novel Approach of Iot stream Sampling and Model Update on the Iot edge Device for Class Incremental Learning in an Edge-Cloud System

VII. FUTURE WORK
There are a number of advancements that can be made as an
extension to this work such as having multiple IoT devices in
which case the cloud needs to sync the overall learning mech-
anism across several devices. Coming up with a novel cost
function that can incrementally place importance on certain
classes with respect to the imbalance can be another useful
idea because this will eliminate the need for oversampling
of underrepresented classes. Another main advancement that
can be made is to design an algorithm for IoT edge device
such that they can automatically assign labels for the new
incoming classes.
We would like to stress that the number of samples we
discard at the IoT edge device is not the optimal number of
samples that can be discarded before training, we believe that
to reap the full benefits of data sampling, a certain number of
samples can be discarded at the IoT edge device in an effort to
reduce both the transmission cost and the cloud training cost.
However, certain samples out of the transmitted samples must
be sent and discarded on the cloud during training.
Although our DDC algorithm is able to largely retain incre-
mental learning classification accuracies while greatly reduc-
ing data transmission costs and training time on the cloud,
we understand that some researchers would prefer control
over the trade-off between the classification accuracies and
the data transmission rate depending on their applications.
In order to do so, our DDC algorithm can easily be re-used by
multiplying the term in (
4
) with a hyperparameter
ω
as shown
in (
11
) below.
τ
c
=
j
ω
·
(
X
l
∈
V
c
1)
k
(11)
The hyperparameter
ω
should be in the range 0 and 1. The
term
b·c
is known as the floor function which is used to
round-off a floating-point number to the greatest integer less
than or equal to the floating-point number, the floor function
is required because
ω
can represent a floating-point number.
When
ω
is 0, no data sampling takes place, however, when the
value of
ω
starts to increase, the magnitude of data sampling
also increases with a small deviation in the classification
accuracies starting to become evident. Therefore, researchers
can tweak the value of
ω
to control the trade-off between
the data sampling rate and the deviation in the incremental
learning classification accuracies as per their applications.
A shortcoming of our weight extraction algorithm is that
this algorithm must be run on very powerful hardware accel-
erators. Our weight extraction algorithm computes the train-
ing accuracy of the classifier a few times to come up with the
most useful parameters. This means multiple forward passes
on the classifier are required suggesting that if the hardware
accelerator is not powerful enough, this process itself could
be very time-consuming. This shortcoming leads to an open
research question and that is how to quickly determine the
useful weights of a neural network-based classifier after train-
ing or perhaps during the training process itself.
VOLUME 9, 2021
29197

---

S. Dube
et al.
: Novel Approach of IoT Stream Sampling and Model Update on the IoT Edge Device