A novel Approach of Iot stream Sampling and Model Update on the Iot edge Device for Class Incremental Learning in an Edge-Cloud System

FIGURE 2.
Distribution of the weight difference between the classifier on the cloud before and after training when learning (a) the first 10 classes
(b) last 10 classes of the CIFAR-100 [34] dataset with rehearsal (training all samples accumulates so far) using the SqueezeNet [50] model.
difference between the accuracy of the temporary model and
the newly trained model is within
A
ori
, then the process of
finding the useful weights continues using a larger weight
difference threshold value i.e., the next threshold value in
our threshold list. The larger the threshold value, the higher
the chances of the condition in line 15 being satisfied thus
the number of useful weights of a layer decreases, and as a
result, reduces the communication costs when transmitting
only the useful weights of the trained model back to the IoT
edge device.
Once the difference between the accuracy of the temporary
model and the original trained model is greater than
A
ori
, then
the weights of the latest temporary model are considered to
be the final set of useful weights and the iterative process will
stop. Our algorithm reduces the number of iterations needed
to find the useful weights as compared to the FitCNN [16]
juicer algorithm by simply using positive threshold values
of the weight difference distribution. At the same time,
we ensure that the accuracy of the temporary model is similar
to the accuracy of the original trained model. Once the useful
weights are determined for a specific layer in the temporary
model, the parameters of that layer are frozen in order to find
the useful weights in the next layer of the temporary model
that undergoes the same weight extraction process.
Line 11 in Algorithm 1 is another improvement that we
propose. We first use the maximum value in the threshold list
to find the useful weights and check if the accuracy of the
temporary model is close to the accuracy of the trained model.
We do this because, if this is the case, then there will be no
need to iterate through the entire threshold list to find the
useful weights which further reduces the number of iterations
needed to find the useful weights.
Apart from the useful weights, it is also mandatory to
send the indices of the weights of the trained model back
to the IoT edge device. This is to let the IoT edge device
know which specific connections of a layer of the model
must be updated. Indices are chosen depending on the number
of useful weights. If the useful weights are greater than the
number of non-useful weights, then obviously the number of
indices that indicate the position of the useful weights will be
larger. However, to make the communication more efficient,
if the number of useful weights is greater than the number of
non-useful weights then the indices of the non-useful weights
will be sent back to the IoT edge device. The message format
29188
VOLUME 9, 2021

---

S. Dube
et al.
: Novel Approach of IoT Stream Sampling and Model Update on the IoT Edge Device