Bayesian Logistic Regression Models for Credit Scoring by Gregg Webster

 
4.7 Performance of the Models with Varying Amounts of “new” Data 
 
The performance of Models 1, 2 and 3 were then compared when the amount of “new” 
data varied. Again two different cut-off probabilities were used, namely 0.3 and 0.48. 

---

99 
4.7.1 Cut-off probability of 0.3 
 
The error rates of Models 1, 2 and 3 when the models are trained using differerent sampler 
sizes and the cut-off probability is 0.3 are given in Figure 4.22. 
Fig. 4.22
Error rates of Models 1, 2 and 3 when the models are trained using differerent 
sampler sizes and the cut-off probability is 0.3.
From Figure 4.22, Models 1 and 3 appear to follow a similar pattern. The error rate of 
Model 3 is always below that of Model 1. The error rates of Models 1 and 3 appear to 
decrease as the sample size of the “new” data increases. The Bayesian model with non-
informative prior thus appears to perform better than the logistic regression model. The 

---

100 
error rate of Model 2 is relatively stable. The error rate of this model is always below the 
other two models (except when the sample size is 150, Model 3 has a lower error). This 
shows that making use of prior information is very useful when the sample size is small. It 
is expected that the error rates of these three models would converge as the sample size 
increases.
When a financial institution is expanding into a new economic location, combining expert 
information obtained from experience in the home country can be very useful.
4.7.2 Cut-off probability of 0.48 
 
For a comparison, if a cut-off probability was chosen to minimize the total error rate on the 
validation set, the cut-off probability would have been 0.48. Using this cut-off probability 
would mean more risk for the financial institution. When 0.48 is used as a cut-off 
probability Figure 4.23 is obtained.

---

101 
Fig. 4.23
Error rates of Models 1, 2 and 3 when the models are trained using differerent 
sampler sizes and the cut-off probability is 0.48.
Figure 4.23 again shows Models 1 and 3 following a similar pattern. The trend of the error 
rate decreasing as the sample size of the “new” data increases is also clear. The error rates 
of Models 1 and 3 decrease as the sample size increases but then appear to level-off. The 
error rate of Model 2 is again relatively constant. This graph confirms again that the use of 
relevant prior information is very useful.
The total error rates when the cut-off probability is 0.48 are lower than when the cut-off 
probability is 0.3 (Figures 4.22 and 4.23). Model 2 performs better when a cut-off 
probability of 0.48 is used.

---

102 
Although the models perform better on the total error rate with a cut-off probability of 
0.48, the error rate amongst the accepted applicants is still higher than when a cut-off 
probability of 0.3 is used. This confirms that opting for a higher cut-off probability results 
in accepting more applicants and thus results in more profits. It appears that it is better to 
take on more risk and opt for a cut-off probability of 0.48.