Bayesian Logistic Regression Models for Credit Scoring by Gregg Webster

Fig. 4.15
Optimal cut-off probability when total error is minimized.
Whilst if, for example, we use a value of α = 0.8, Figure 4.16 is obtained. This value of alpha 
puts a high weight on the total error while still considering the error on the bad loans. In 
Figure 4.15, the cut-off probability with the lowest error is 0.48. 
Fig. 4.16 
Optimal cut-off probability when error function is minimized with α = 0.8. 
0.0
0.2
0.4
0.6
0.8
1.0
0.2
0.3
0.4
0.5
0.6
0.7
cut off probability
er
ro
r fu
nct
ion
0.0
0.2
0.4
0.6
0.8
1.0
0.2
0.3
0.4
0.5
cut off probability
er
ro
r fu
nct
ion

---

77 
In Figure 4.16 a cut-off probability of 0.3 gives the lowest value of the error function. This 
cut-off probability is lower than the cut-off probability when only the total error is 
minimized. Because we are risk averse, a cut-off probability of 0.3 will be used. This means 
that anyone with a probability of being bad less than 0.3 will be classified as good, and any 
with a probability of being bad greater than 0.3 will be classified as bad. Both cut-off 
probabilities 0.48 and 0.3 were used and the results compared.
4.4 Logistic Regression Model on “new” Data 
Six Fisher scoring iterations were needed for the parameters to converge. The estimated 
parameters are given in Table 4.7. 
Table 4.7 
Logistic regression model fitted on the “new” data. 
 Variable 
Estimate 
Std. Error z value Pr(>|z|) 
Significance 
(Intercept) 
-8.62E+00 1.36E+00 -6.317 
2.67E-10 Significant 
LOAN 
5.85E-06 
1.38E-05 0.423 
0.67203 
Insignificant 
MORTDUE 
-6.50E-06 
6.97E-06 
-0.933 
0.350944 Insignificant 
VALUE 
1.62E-06 
5.85E-06 
0.277 
0.781878 Insignificant 
REASONHomeImp 1.09E-01 
3.22E-01 
0.337 
0.736028 Insignificant 
JOBOffice 
-9.80E-01 
5.82E-01 
-1.684 
0.09211 
Insignificant 
JOBOther 
1.62E-01 
4.55E-01 
0.357 
0.721458 Insignificant 
JOBProfExe 
1.06E-01 
5.29E-01 
0.2 
0.841722 Insignificant 
JOBSales 
3.33E+00 
9.42E-01 
3.535 
0.000408 Significant 
JOBSelf 
-1.44E-01 
9.04E-01 
-0.159 
0.873381 Insignificant 
YOJ 
-2.68E-02 
2.15E-02 
-1.244 
0.213402 Insignificant 
DEROG 
6.56E-01 
2.10E-01 
3.125 
0.001779 Significant 
DELINQ 
1.16E+00 
1.68E-01 
6.904 
5.05E-12 Significant 
CLAGE 
-6.65E-03 
2.08E-03 
-3.196 
0.001394 Significant 
NINQ 
2.06E-01 
6.59E-02 
3.122 
0.001798 Significant 
CLNO 
-4.08E-02 
1.63E-02 
-2.501 
0.012374 Significant 
DEBTINC 
2.33E-01 
3.33E-02 
6.985 
2.86E-12 Significant 

---

78 
What is interesting now is that the variable LOAN has gone from being significant on the 
“old” data to insignificant on the “new” data, and the JOB variable has a different significant 
dummy variable. Other than this, the models on the “new” and “old” data are similar. The 
residual deviance of the model is 341.18 with 549 degrees of freedom.
Interpretation is now given for the parameters of LOAN, DEROG and DEBTINC. 
-
The parameter of LOAN is 5.85E-06
and is insignificant at the 5% significance level. A unit 
increase in LOAN with all other variables held fixed, means that there will be a 5.85E-06
increase in the log-odds of default.
-
The parameter of DEROG is 6.56E-01 and is significant at the 5% significance level. A unit 
increase in DEROG with all other variables held fixed, means that there will be a 6.56E-01 
increase in the log-odds of default.
-
The parameter of DEBTINC is 2.33E-01 and is significant at the 5% significance level. A 
unit increase in DEBTINC with all other variables held fixed, means that there will be a 
2.33E-01 increase in the log-odds of default.
In order to check the adequacy of the model, collinearity of the independent variables, 
outliers and influential observations are now considered. The correlation matrix of the 
numerical independent variables is given in Table 4.8. 

---

79