Bayesian Logistic Regression Models for Credit Scoring by Gregg Webster

 Variable 
Mean 
SD 
2.50% 
97.50% 
(Intercept) 
-9.21E+00 
1.54E+00 
-1.24E+01 -6.47E+00 
LOAN 
5.25E-06 
1.40E-05 
-2.32E-05 
3.12E-05 
MORTDUE 
-7.72E-06 
6.98E-06 
-2.20E-05 
5.29E-06 
VALUE 
2.17E-06 
5.73E-06 
-9.06E-06 
1.40E-05 
REASONHomeImp 9.08E-02 
3.56E-01 
-5.87E-01 
7.70E-01 
JOBOffice 
-9.89E-01 
5.95E-01 
-2.10E+00 1.34E-01 
JOBOther 
1.65E-01 
4.72E-01 
-7.11E-01 
1.12E+00 
JOBProfExe 
1.18E-01 
5.56E-01 
-9.44E-01 
1.28E+00 
JOBSales 
3.57E+00 
9.67E-01 
1.64E+00 
5.49E+00 
JOBSelf 
-2.27E-01 
9.68E-01 
-2.18E+00 1.62E+00 
YOJ 
-2.85E-02 
2.23E-02 
-7.15E-02 
1.42E-02 
DEROG 
7.69E-01 
2.21E-01 
3.74E-01 
1.27E+00 
DELINQ 
1.24E+00 
1.74E-01 
8.96E-01 
1.58E+00 
CLAGE 
-7.20E-03 
2.08E-03 
-1.11E-02 
-3.07E-03 
NINQ 
2.12E-01 
7.22E-02 
6.88E-02 
3.51E-01 
CLNO 
-4.49E-02 
1.74E-02 
-7.77E-02 
-1.06E-02 
DEBTINC 
2.52E-01 
3.64E-02 
1.89E-01 
3.30E-01 

---

91 
other variables held fixed, means that there will be a 2.52E-01
increase in the log-odds of 
default.
Trace plots of the Markov chain and density plots of the posterior distributions are given in 
Figure 4.21. Trace and density plots are only given for the first four parameters. The 
remaining trace and density plots can be found in Appendix D2. 
Fig. 4.21
Trace and density plots of the posteriors for the first four variables using a non-
informative prior. 
From Figure 4.21, looking at the trace plot of the Markov chain, the Markov chain is 
relatively stationary. This implies that the Markov chain has reached or is close to its 
stationary distribution. The density plots appear to be bell shaped. The remaining trace and 
density plots are similar (Appendix D2).
The Geweke diagnostic statistics for each variable are given in Table 4.16. 

---

92 
Table 4.16
Geweke test statistics for each variable for the Bayesian logistic regression 
model with non-informative prior.
Variable 
z 
(Intercept) 
2.075362 
LOAN 
0.43113 
MORTDUE 
0.260332 
VALUE R 
-0.002344 
EASONHomeImp 
-1.250048 
JOBOffice 
-0.715934 
JOBOther 
-1.383707 
JOBProfExe 
-1.587358 
JOBSales 
-2.926755 
JOBSelf 
-0.688299 
YOJ 
-0.351282 
DEROG 
0.056095 
DELINQ 
2.13558 
CLAGE 
-0.887012 
NINQ 
-0.095634 
CLNO 
-1.234432 
DEBTINC 
-1.444675 
Table 4.16 shows that the intercept, JOBSales and DELINQ have 
| |
and, therefore, 
have not converged. All the other variables have converged according to the Geweke 
diagnostic.
4.6 Performance of Models on Test Data 
 
A test set is now used to assess the performance of the three models on the “new” data: the 
logistic regression model (Model 1), the Bayesian logistic regression model with 
informative prior (Model 2) and the Bayesian logistic regression model with non-
informative prior (Model 3). The test set contains 1,662 observations and is assumed to 
come from the new economic location. The performance of the models on the test set was 
compared for two cut-off probabilities, 0.3 and 0.48.

---

93