An advanced Intrusion Detection System for iiot based on ga and Tree based Algorithms

TABLE 4.
Features selected by the GA - Multiclass classification
Feature vector
No. of features
list of features
g
1
22
service,
spkts,
sbytes,
dbytes,
rate, sttl, sloss, dinpkt, sjit, swin,
tcprtt,
synack,
ackdat,
smean,
dmean, trans_depth, ct_state_ttl,
ct_src_dport_ltm,
is_ftp_login,
ct_ftp_cmd, ct_src_ltm, ct_srv_dst
g
2
25
proto, service, state, dpkts, sbytes,
dbytes, sttl, dttl, sloss, dloss, dinpkt,
sjit, djit, stcpb, dwin, tcprtt, smean,
dmean, trans_depth, ct_state_ttl,
ct_dst_ltm,
ct_ftp_cmd,
ct_flw_http_mthd,
ct_srv_dst,
is_sm_ips_ports
g
3
28
dur, proto, service, state, spkts,
dpkts, sbytes, dbytes, rate, sload,
dload,
sloss,
sjit,
swin,
stcpb,
dtcpb,
dwin,
tcprtt,
ackdat,
smean,
dmean,
ct_state_ttl,
ct_src_dport_ltm,
is_ftp_login,
ct_ftp_cmd,
ct_flw_http_mthd,
ct_src_ltm, ct_srv_dst
g
4
20
proto,
service,
spkts,
dpkts,
sbytes, sload, dloss, sinpkt, dinpkt,
sjit, djit, tcprtt, ackdat, smean,
dmean,
ct_srv_src,
ct_state_ttl,
ct_dst_sport_ltm,
ct_dst_src_ltm,
ct_flw_http_mthd
g
5
17
proto,
service,
spkts,
dpkts,
dbytes, sttl, dloss, dinpkt, sjit,
tcprtt, smean, dmean, trans_depth,
ct_dst_src_ltm,
is_ftp_login,
ct_ftp_cmd, is_sm_ips_ports
g
6
26
dur,
proto,
service,
spkts,
dpkts, sbytes, dbytes, sttl, dttl,
dload, dloss, djit, stcpb, dtcpb,
dwin,
tcprtt,
synack,
ackdat,
smean,
dmean,
ct_srv_src,
ct_dst_ltm,
ct_src_dport_ltm,
ct_dst_sport_ltm,
is_ftp_login,
is_sm_ips_ports
g
7
18
proto, service, state, dpkts, sbytes,
dbytes, sinpkt, swin, tcprtt, ackdat,
smean,
dmean,
trans_depth,
ct_state_ttl,
ct_dst_src_ltm,
is_ftp_login,
ct_ftp_cmd,
ct_flw_http_mthd
TABLE 5.
Binary Classification for
f
1
Model
FV
VAC
TAC
RC
PR
F1S
LR
f
1
88.63 %
73.40 %
91.76 %
69.60 %
79.16 %
DT
f
1
94.83 %
85.59 %
94.65 %
81.98 %
87.86 %
RF
f
1
95.95 %
86.89 %
98.50 %
81.53 %
89.22 %
ET
f
1
95.82 %
86.67 %
98.26 %
81.38 %
89.03 %
XGB
f
1
94.80 %
86.22 %
98.21 %
80.87 %
88.70 %
TABLE 6.
Binary Classification for
f
2
Model
FV
VAC
TAC
RC
PR
F1S
LR
f
2
87.90 %
74.09 %
90.56 %
70.65 %
79.38 %
DT
f
2
94.50 %
86.40 %
95.96 %
82.29 %
88.60 %
RF
f
2
95.86 %
87.37 %
98.69 %
82.02 %
89.59 %
ET
f
2
95.80 %
87.13 %
98.48 %
81.84 %
89.39 %
XGB
f
2
94.94 %
86.72 %
98.78 %
81.18 %
89.12 %
TABLE 7.
Binary Classification for
f
3
Model
FV
VAC
TAC
RC
PR
F1S
LR
f
3
86.54 %
74.49 %
86.82 %
72.37 %
78.94 %
DT
f
3
94.74 %
86.53 %
95.96
82.46 %
88.70 %
RF
f
3
95.87 %
87.61 %
98.34 %
82.51 %
89.73 %
ET
f
3
95.72 %
87.38 %
97.86 %
82.48 %
89.51 %
XGB
f
3
94.87 %
86.84 %
98.64 %
81.40 %
89.19 %
TABLE 8.
Binary Classification for
f
4
Model
FV
VAC
TAC
RC
PR
F1S
LR
f
4
88.12 %
75.51 %
94.26 %
70.87 %
80.91 %
DT
f
4
94.78 %
85.53 %
94.45 %
81.99 %
87.78 %
RF
f
4
95.93 %
86.19 %
96.85 %
81.53 %
88.53 %
ET
f
4
95.85 %
86.13 %
96.62 %
81.59 %
88.47 %
XGB
f
4
94.63 %
85.17 %
96.76 %
80.33 %
87.78 %
TABLE 9.
Binary Classification for
f
5
Model
FV
VAC
TAC
RC
PR
F1S
LR
f
5
90.01 %
71.94 %
87.10 %
69.59 %
77.37 %
DT
f
5
94.64 %
85.90 %
95.83 %
81.72 %
88.21 %
RF
f
5
96.02 %
86.92 %
98.57 %
81.54 %
89.25 %
ET
f
5
95.96 %
86.60 %
98.35 %
81.26 %
88.99 %
XGB
f
5
94.92 %
86.44 %
98.29 %
81.09 %
88.87 %
TABLE 10.
Binary Classification for
f
6
Model
FV
VAC
TAC
RC
PR
F1S
LR
f
6
87.63 %
74.49 %
90.21 %
71.17 %
79.56 %
DT
f
6
94.78 %
83.03 %
89.43 %
81.54 %
85.30 %
RF
f
6
95.89 %
87.24 %
98.33 %
82.05 %
89.46 %
ET
f
6
96.05 %
86.99 %
97.89 %
81.98 %
89.23 %
XGB
f
6
94.93 %
86.69 %
98.14 %
81.47 %
89.03 %
TABLE 11.
Binary Classification for
f
7
Model
FV
VAC
TAC
RC
PR
F1S
LR
f
7
92.12 %
76.81 %
91.57 %
73.10 %
81.30 %
DT
f
7
94.74 %
86.42 %
96.26 %
82.15 %
88.64 %
RF
f
7
96.11 %
87.14 %
98.62 %
81.77 %
89.41 %
ET
f
7
96.11 %
86.85 %
98.26 %
81.61 %
89.16 %
XGB
f
7
94.99 %
86.52 %
98.27 %
81.19 %
88.92 %
TABLE 12.
Binary Classification for
f
8
Model
FV
VAC
TAC
RC
PR
F1S
LR
f
8
91.71 %
77.71 %
98.46 %
71.65 %
82.94 %
DT
f
8
94.87 %
85.41 %
94.22 %
81.98 %
87.67 %
RF
f
8
95.88 %
87.28 %
98.59 %
81.96 %
89.51 %
ET
f
8
95.80 %
86.92 %
98.12 %
81.77 %
89.20 %
XGB
f
8
94.89 %
86.27 %
98.44 %
80.81 %
88.76 %
TABLE 13.
Binary Classification for
f
9
Model
FV
VAC
TAC
RC
PR
F1S
LR
f
9
90.02 %
70.83 %
85.92 %
68.83 %
76.43 %
DT
f
9
94.78 %
83.33 %
89.83 %
81.71 %
85.58 %
RF
f
9
95.76 %
87.31 %
98.55 %
82.03 %
89.53 %
ET
f
9
95.75 %
87.14 %
98.54 %
81.82 %
89.41 %
XGB
f
9
94.65 %
86.87 %
99.03 %
81.23 %
89.25 %
10
VOLUME X, 2019

---

This work is licensed under a Creative Commons Attribution 4.0 License. For more information, see https://creativecommons.org/licenses/by/4.0/
This article has been accepted for publication in a future issue of this journal, but has not been fully edited. Content may change prior to final publication. Citation information: DOI
10.1109/ACCESS.2021.3104113, IEEE Access
S.M. Kasongo
et al.
: An advanced Intrusion Detection System for IIoT Based on GA and Tree based Algorithms
TABLE 14.
Binary Classification for
f
10
Model
FV
VAC
TAC
RC
PR
F1S
LR
f
10
86.92 %
72.70 %
82.71 %
71.92 %
76.94 %
DT
f
10
94.79 %
86.51 %
96.29 %
82.24 %
88.71 %
RF
f
10
95.86 %
86.71 %
98.57 %
81.27 %
89.09 %
ET
f
10
95.70 %
86.32 %
98.29 %
80.95 %
88.78 %
XGB
f
10
94.87 %
86.41 %
99.13 %
80.63 %
88.93 %
FIGURE 4.
ROC Curves for classifiers using
f
3
In the second step of phase 2, we implemented the multi-
class classification process whereby all the labels (10 classes)
present in the UNSW-NB15 were considered. Moreover, in
this step, we utilized all the attribute vectors in
V
m
. The
Naïve Bayes (NB) classifier [
55
] was used as the baseline
model and we further implemented the following Tree-based
algorithms: DT, RF, ET, and XGB. As mentioned in the
previous step, the baseline model was utilized as our starting
point and the goal was to surpass its performance using the
other models. The outcomes are shown in Table 15 – 21. As
depicted in Table 19, the experimental results demonstrated
that the best model was the ET using
g
5
. It attained a VAC
of 82.64%, a TAC of 77.64%, an RC of 83.09%, a PR of
77.64%, and F1S of 80.27%. Furthermore, we computed the
confusion matrix to check how the model performed for each
class present in the UNSW-NB15. As depicted in Figure
4, the ET performed optimally in detecting the following
classes: Normal, Generic, Exploits, Dos, Reconnaissance,
and Shellcode. However, the ET underperformed for some
minority classes such as Worms, Backdoor, and Analysis.
TABLE 15.
Multiclass Classification for
g
1
Model
FV
VAC
TAC
PR
RC
F1S
DT
g
1
81.05
74.56
80.64
74.56
77.48
RF
g
1
82.84
76.61
82.85
76.61
79.61
ET
g
1
82.90
76.53
82.63
76.53
79.46
XGB
g
1
82.95
76.48
82.62
76.48
79.43
NB
g
1
54.46
52.28
59.90
52.29
55.83
TABLE 16.
Multiclass Classification for
g
2
Model
FV
VAC
TAC
PR
RC
F1S
DT
g
2
81.26
75.08
80.36
75.08
77.63
RF
g
2
82.96
77.18
82.70
77.18
79.84
ET
g
2
83.07
77.24
82.48
77.24
79.77
XGB
g
2
83.03
77.23
82.46
77.23
79.76
NB
g
2
55.10
51.59
69.39
51.59
59.18
TABLE 17.
Multiclass Classification for
g
3
Model
FV
VAC
TAC
PR
RC
F1S
DT
g
3
80.59
74.03
80.64
74.03
77.20
RF
g
3
82.20
76.04
82.43
76.04
79.11
ET
g
3
82.22
76.12
82.10
76.12
79.00
XGB
g
3
82.27
76.11
82.14
76.11
79.01
NB
g
3
46.62
55.47
52.69
55.47
54.05
TABLE 18.
Multiclass Classification for
g
4
Model
FV
VAC
TAC
PR
RC
F1S
DT
g
4
80.99
73.85
80.54
73.85
77.05
RF
g
4
82.50
76.08
83.29
76.08
79.50
ET
g
4
82.51
76.35
83.35
76.35
79.70
XGB
g
4
82.57
76.41
83.32
76.41
79.72
NB
g
4
35.19
32.72
68.81
32.72
44.35
TABLE 19.
Multiclass Classification for
g
5
Model
FV
VAC
TAC
PR
RC
F1S
DT
g
5
81.44
75.70
81.09
75.70
78.30
RF
g
5
82.93
77.34
83.01
77.34
80.07
ET
g
5
82.94
77.64
83.09
77.64
80.27
XGB
g
5
82.94
77.58
82.99
77.58
80.20
NB
g
5
43.40
40.26
66.38
40.26
50.13
TABLE 20.
Multiclass Classification for
g
6
Model
FV
VAC
TAC
PR
RC
F1S
DT
g
6
80.57
74.40
74.40
80.15
77.16
RF
g
6
82.52
76.41
82.37
76.41
79.28
ET
g
6
82.64
76.56
82.43
76.56
79.39
XGB
g
6
82.67
76.54
82.32
76.54
79.33
NB
g
6
50.49
47.32
75.32
47.32
58.12
TABLE 21.
Multiclass Classification for
g
7
Model
FV
VAC
TAC
PR
RC
F1S
DT
g
7
81.38
74.90
74.90
80.60
77.65
RF
g
7
82.65
76.86
82.93
76.86
79.78
ET
g
7
82.87
76.86
82.83
76.86
79.73
XGB
g
7
82.83
76.84
82.86
76.84
79.74
NB
g
7
47.56
43.55
67.91
43.55
53.07
Furthermore, we conducted a comparative analysis in Ta-
ble 22. This analysis showed that the results yielded by the
methodologies presented in this paper are superior to existing
frameworks. For instance, in the case of binary classification,
the TAC obtained by the GA-RF-
f
3
(proposed in this work)
was 11.51% higher than the work presented in [
25
], 12.1%
VOLUME X, 2019
11

---

This work is licensed under a Creative Commons Attribution 4.0 License. For more information, see https://creativecommons.org/licenses/by/4.0/
This article has been accepted for publication in a future issue of this journal, but has not been fully edited. Content may change prior to final publication. Citation information: DOI
10.1109/ACCESS.2021.3104113, IEEE Access
S.M. Kasongo
et al.
: An advanced Intrusion Detection System for IIoT Based on GA and Tree based Algorithms based Algorithms
FIGURE 5.
Confusion Matrix for
g
5
results
higher than the method in [
33
] and 3.71% greater than TAC
obtained in [
26
].In the case of the multiclass classification
process, the GA-ET-
g
5
obtained a TAC that is 5.11% greater
than the TAC obtained in [
33
] and 1.87% higher than the
TAC obtained in [
34
]. Furthermore, the methods that were
proposed in this research were superior to the DL-based
algorithms that were reviewed in the literature. For instance,
the GA-RF achieved a TAC that is 2.19% higher than the
TAC obtained by the LSTM method in [
36
]. In comparison
to the TAC obtained by the LSTM approach in [
37
], the GA-
RF attained a TAC that is 6.89% higher. Additionally, the
GA-RF achieved a higher TAC in comparison to the CNN-
RNN presented in [
38
]. Additionally, the GA-RF presented
in this paper achieved an accuracy that is superior to existing
research. For instance, for the two-way classification task, it
achieved a TAC that is 0.9% higher than the performance ob-
tained by the GA-RF in [
39
]. For the multiclass classification
procedure, it obtained an accuracy that is 13.34% higher than
the score obtained by the GA-RF in [
39
].
Moreover, performance analysis of prediction time was
conducted between different models that used the most op-
timal feature vectors. In the instance of the binary classi-
fication, the vector that yielded the most optimal TAC is
f
3
. The graph in Figure 6 shows that the DT model is
the most efficient method in terms of prediction time (18.3
milliseconds) when using
f
3
. For the multiclass classification
process, the vector that achieved the highest TAC is
g
5
. The
plot in Figure 7 demonstrates that the NB (7.96 milliseconds)
method was the most efficient one in terms of prediction
time when utilizing
g
5
. However, the NB did not obtain a
satisfactory TAC.
12
VOLUME X, 2019

---

This work is licensed under a Creative Commons Attribution 4.0 License. For more information, see https://creativecommons.org/licenses/by/4.0/
This article has been accepted for publication in a future issue of this journal, but has not been fully edited. Content may change prior to final publication. Citation information: DOI
10.1109/ACCESS.2021.3104113, IEEE Access
S.M. Kasongo
et al.
: An advanced Intrusion Detection System for IIoT Based on GA and Tree based Algorithms
TABLE 22.
Comparison with other methods
Model
TAC- Binary
TAC- Multiclass
PSO-LightGBM [
22
]
86.68%
-
APAC-IELM [
23
]
-
70.52%
Deep learning - DNN [
25
]
76.1%
65.1%
ANN [
26
]
83.9%
-
GA-SVM [
29
]
86.38%
-
GWO-SVM [
29
]
84.48%
-
FFA-SVM [
29
]
85.42%
-
IG-TS [
31
]
85.78%
-
GA-LR-DT [
32
]
81.42%
-
XGBoost-LR [
33
]
75.51%
72.53%
SVM-NIDS [
34
]
85.99%
75.77%
IG-Tree [
35
]
84.83%
-
Deep learning - LSTM [
36
]
85.42%
-
Deep learning - LSTM [
37
]
80.72%
72.26%
Deep learning - CNN-RNN [
38
]
86.64%
-
GA - RF [
39
]
86.70%
-
GA - RF [
40
]
-
64.23%
GA - RF (Proposed)
87.61%
-
GA - ET (Proposed)
-
77.64%