Bayesian Logistic Regression Models for Credit Scoring by Gregg Webster

Predicted 
Good 
Bad 
Actual 
Good 
1237 
85 
Bad 
143 
197 

---

97 
Of the 1,662 applicants in the test set, the Bayesian logistic regression model with non-
informative prior (Model 3) now rejects 282 and accepts 1,380 applicants (Table 4.23). 85 
(30.1%) of the rejected applicants are in fact good. 143 (10.4%) of the accepted applicants 
are bad. The overall classification error rate is 13.7%. 
Comparison of the 3 models 
 
Table 4.24 compares Models 1, 2 and 3.
Table 4.24
Comparison of Models 1, 2 and 3 when the cut-off probability is 0.48. 
Model 1 Model 2 Model 3 
Accepted 
1352 
1419 
1380 
Rejected 
310 
243 
282 
Error rate among accepted 
10.1% 
10.7% 
10.4% 
Error rate among rejected 
34.5% 
22.6% 
30.1% 
Total error rate 
14.7% 
12.5% 
13.7% 
The following can be deduced from Table 4.24: 
-
Model 2 accepts the most applicants. 
-
Model 1 rejects the most applicants. 
-
Model 1 has the lowest error rate among the accepted applicants.
-
Model 2 has the lowest error rate among the rejected applicants. 
-
Model 2 has the lowest total error rate. 
The error rates amongst the accepted applicants are all fairly close for all the models. The 
Bayesian logistic regression model with informative prior again has the lowest total error 
rate, showing that the use of relevant prior information is beneficial.

---

98 
4.6.3 Comparison of the two cut-off probabilities 
 
The results are now compared when the two different cut-off probabilities are used, 0.3 
and 0.48. The following conclusions are reached: 
-
In all models, more applicants are accepted when the cut-off probability is 0.48 as opposed 
to 0.3. 
-
In all models, fewer applicants are rejected when the cut-off probability is 0.48 as opposed 
to 0.3. 
-
For all models, the error rate among the accepted applicants is higher when the cut-off 
probability is 0.48 as opposed to 0.3. This shows that the error rate realized by the bank is 
lower when a lower cut-off probability is used.
-
For all models, the error rate among the rejected applicants is lower with the cut-off 
probability is 0.48 as opposed to 0.3.
-
For all models, the total error rate is lower when the cut-off probability is 0.48 as opposed 
to 0.3. 
It appears that 0.48 is a better cut-off probability to use because it exposes the financial 
institution to more people who will be good. This means that the financial institution will 
be more profitable than one which uses a cut-off probability of 0.3. The difference in the 
error rates among the accepted applicants for the two cut-off probabilities is around 2% for 
each model. This is not big enough to opt for the conservative approach of a cut-off 
probability of 0.3. The financial institution may want to employ the more risk averse cut-
off probability if it expects the financial markets to become turbulent.