Bayesian Logistic Regression Models for Credit Scoring by Gregg Webster

4.8 Conclusions 
 
This chapter discussed the results obtained by fitting the relevant models on the data. The 
initial data analysis showed that there are a large number of missing values and that these 
missing values needed to be estimated in order to keep the proportion of “bads” in the data 
from dropping. The initial data analysis also showed that there may be a problem with 
outliers and influential observations.
The logistic regression model fitted on the “old” data was then used to determine cut-off 
probabilities. Two potential cut-off probabilities were obtained: one where the total error 
rate was minimized and one where a weighted error function was minimized taking into 
account the error rate on the “bads”. The cut-off probability obtained when the total error 
rate was minimized was 0.48. The minimization of the weighted error function resulted in 
a more conservative cut-off probability of 0.3.
A logistic regression model (Model 1), a Bayesian logistic regression with priors from the 
logistic regression on the “old” data (Model 2), and a Bayesian logistic regression model 
with non-informative priors (Model 3) were then fitted on the “new” data. All the fitted 
models had predictor variables with a number of significant parameters.
The performance of these models was then compared on a test set. With cut-off 
probabilities of 0.3 and 0.48, Model 2 performs the best in terms of total error rate. It was 
found that with a higher cut-off probability, more people were accepted which results is a 
slightly higher error rate among the accepted applicants. The error rates realized by the 
financial institution (error rate on accepted applicants) were higher for all 3 models when a 

---

103 
higher cut-off probability was used. The total error rates for all three models were lower 
when the higher cut-off probability was used. This shows that it is worth taking on more 
risk to realize more profit.
When the sample size of the “new” data set was varied for the training of the models, it 
was found that Model 2 performed the best. Model 3 was also found to perform better than 
Model 1. Models 1 and 3 showed a similar pattern with the error rate decreasing as the 
sample size of the “new” data set increased. The error rates for Models 1 and 3 appear to 
level-off at a certain point, whilst Model 2 appears to have a relatively constant error rate 
for the varying sample sizes.
Making use of relevant prior information can, therefore, be very important in improving 
the accuracy of credit scoring models. This prior information is most useful when the size 
of the data set available is small. The importance of the prior information decreases 
quickly as the amount of available data increases. When there is a lot of data available 
there is no need to conduct a Bayesian logistic regression- a standard logistic regression 
will give very similar results.
The following recommendation is, therefore, made to a financial institution expanding into 
a new economic location: making use of relevant prior information obtained from 
experiences gained in the home country or other countries can be very useful initially. As 
the amount of data increases in the new country the usefulness of this prior information 
decreases and becomes less important. 

---

104