Bayesian Logistic Regression Models for Credit Scoring by Gregg Webster

Table 4.4 
Correlation matrix of numerical independent variables on the “old” data.
 
LOAN MORTDUE VALUE YOJ DEROG DELINQ CLAGE NINQ CLNO DEBTINC 
LOAN 
1.00 
0.22 
0.33 
0.08 
0.00 
-0.06 
0.09 
0.04 
0.05 
0.02 
MORTDUE 0.22 
1.00 
0.78 
-0.09 
-0.04 
-0.01 
0.14 
0.00 
0.31 
0.09 
VALUE 
0.33 
0.78 
1.00 
-0.01 
-0.02 
-0.01 
0.16 
-0.02 
0.27 
0.08 
YOJ 
0.08 
-0.09 
-0.01 
1.00 
-0.05 
0.04 
0.22 
-0.06 
0.03 
-0.05 
DEROG 
0.00 
-0.04 
-0.02 
-0.05 
1.00 
0.16 
-0.09 
0.18 
0.04 
0.06 
DELINQ 
-0.06 
-0.01 
-0.01 
0.04 
0.16 
1.00 
0.03 
0.06 
0.14 
0.12 
CLAGE 
0.09 
0.14 
0.16 
0.22 
-0.09 
0.03 
1.00 
-0.11 
0.27 
-0.05 
NINQ 
0.04 
0.00 
-0.02 
-0.06 
0.18 
0.06 
-0.11 
1.00 
0.07 
0.14 
CLNO 
0.05 
0.31 
0.27 
0.03 
0.04 
0.14 
0.27 
0.07 
1.00 
0.13 
DEBTINC 
0.02 
0.09 
0.08 
-0.05 
0.06 
0.12 
-0.05 
0.14 
0.13 
1.00 

---

72 
Table 4.5 
Variance inflation factors (VIF) of numerical independent variables on the “old” 
data. 
Variable 
VIF 
LOAN 
1.151227 
MORTDUE 2.720736 
VALUE 
2.817692 
YOJ 
1.089154 
DEROG 
1.0712 
DELINQ 
1.066063 
CLAGE 
1.174603 
NINQ 
1.071983 
CLNO 
1.226312 
DEBTINC 
1.059467 
From Table 4.5, we see there are no large variance inflation factors, which indicates that 
there is no serious problem with collinearity in the “old” data. 
Outliers and influential observations in the model are now considered. The following plots 
are considered for the presence of outliers and influential observations: half-normal plots of 
the residuals, leverages and Cook’s distance statistics. The half-normal plot of the residuals is 
given in Figure 4.12. 
Fig. 4.12
Half-normal plot of residuals for the “old” data.
 
From Figure 4.12, there does not appear to be any sign of outliers. The half-normal plot of 
the leverages is given in Figure 4.13. 
0.0
0.5
1.0
1.5
2.0
2.5
3.0
3.5
0
1
2
3
4
Half-normal quantiles
So
rte
d 
Da
ta
1565
2715

---

73 
Fig. 4.13
Half-normal plot of leverages for the “old” data.
Figure 4.13 indicates that observations numbered 1877 and 2508 may have the potential to 
affect the fit of the model.
Figure 4.14
Half-normal plot of the Cook’s distance statistics for the “old” data. 
The half-normal plot of the Cook’s distance statistics is given in Figure 4.14. This plot 
indicates that observations numbered 556 and 1403 may be influential. A logistic regression 
0.0
0.5
1.0
1.5
2.0
2.5
3.0
3.5
0.
00
0.
05
0.
10
0.
15
0.
20
0.
25
0.
30
Half-normal quantiles
So
rte
d 
Da
ta
1877
2508
0.0
0.5
1.0
1.5
2.0
2.5
3.0
3.5
0.
00
0.
01
0.
02
0.
03
0.
04
0.
05
Half-normal quantiles
So
rte
d 
Da
ta
556
1403

---

74 
model was then fitted on the “old” data excluding observations numbered 556, 1403, 1877 
and 2508. The estimated parameters of this model were then compared to the model with no 
removed observations.
Table 4.6
Comparison of model coefficients when possible leverage and influential 
observations are either included or excluded from the “old” data.
Table 4.6 shows the difference in the parameters when possible leverage and influential 
observations are removed. The first column gives the model parameters with all observations 
in the “old” data and the second column gives the model parameters when the possible 
leverage and influential observations are removed. Looking at Table 4.6, the differences in 
the estimated parameters between the models are minimal. Therefore, the possible leverage 
and influential points will not be removed from the “old” data.