Bayesian Logistic Regression Models for Credit Scoring by Gregg Webster

Bayesian logistic regression model with an informative prior
 
Prior information came from the model fitted on the “old” data. The model fitted on the 
“old” data serves as expert information obtained in the home country. This expert 
knowledge on the logistic regression parameters was then used as prior information for the 
model on the limited amount of “new” data in the new economic location. A multivariate 
normal prior is assumed for the parameters. The prior parameters are also assumed to be 
independent. The prior coefficients are the coefficients from the logistic regression on the 
“old” data. Each coefficient has corresponding information represented in a 17 x 17 
diagonal matrix. The prior coefficients and corresponding element in the diagonal matrix 
are given in Table 4.12. 
Table 4.12
Prior parameters for an informative Bayesian logistic regression model. 
 Variable 
Coefficient 
Information 
(Intercept) 
-7.194241 
2.88E+02 
LOAN 
-2.3673E-05 
1.19E+11 
MORTDUE 
-3.70998E-06 
1.94E+12 
VALUE 
3.03441E-06 
3.80E+12 
REASONHomeImp 0.2027903 
9.37E+01 
JOBOffice 
-0.681924 
3.90E+01 
JOBOther 
0.01722975 
1.36E+02 
JOBProfExe 
0.04760004 
5.46E+01 
JOBSales 
0.4024014 
6.64E+00 
JOBSelf 
0.4016077 
8.87E+00 
YOJ 
-0.01615048 
3.20E+04 
DEROG 
0.7334939 
1.90E+02 
DELINQ 
0.8039918 
3.56E+02 
CLAGE 
-0.005222989 8.85E+06 
NINQ 
0.1366665 
1.70E+03 
CLNO 
-0.02814893 
1.54E+05 
DEBTINC 
0.1911389 
4.13E+05 

---

86 
In order to get the acceptance rate between 20-40%, a tuning parameter of 0.6 was used. 
Because a high dimension model is being fitted, the acceptance rate needs to be towards 
the lower bound of the desired range. The tuning parameter of 0.6 gave an accepted rate of 
23%. The model is summarized in Table 4.13. 
Table 4.13
Bayesian logistic regression model on the “new” data with an informative 
prior. 
The mean provides the estimate for the parameter. From Table 4.13, looking at the 
quantiles for each variable we can determine which variables are significant at the 5% 
significance level. The values from the 2.5% to the 97.5% quantiles provide a 95% 
credibility interval for each variable. Only dummy variables for the JOB variable and 
REASON variable are insignificant. This shows that the majority of variables included in 
the model are significant in predicting good and bad applicants. The parameter estimates