Bayesian Logistic Regression Models for Credit Scoring by Gregg Webster

---

1 
Bayesian Logistic Regression Models for Credit Scoring 
 
 
by 
Gregg Webster 
 
 
A thesis submitted to Rhodes University in partial fulfilment of the 
requirements for the degree of 
Master of Commerce 
 
in 
 
Mathematical Statistics 
 
December 2011 
 
 
 
Supervisor: Professor S.E. Radloff
 
 

---

2 
DECLARATION 
 
Except for references specifically indicated in the text, this study is my own work and has not 
been submitted elsewhere for degree purposes. 
Gregg Webster 

---

3 
Abstract 
The Bayesian approach to logistic regression modelling for credit scoring is useful when 
there are data quantity issues. Data quantity issues might occur when a bank is opening in a 
new location or there is change in the scoring procedure. Making use of prior information 
(available from the coefficients estimated on other data sets, or expert knowledge about the 
coefficients) a Bayesian approach is proposed to improve the credit scoring models. To 
achieve this, a data set is split into two sets, “old” data and “new” data. Priors are obtained 
from a model fitted on the “old” data. This model is assumed to be a scoring model used by a 
financial institution in the current location. The financial institution is then assumed to 
expand into a new economic location where there is limited data. The priors from the model 
on the “old” data are then combined in a Bayesian model with the “new” data to obtain a 
model which represents all the available information. The predictive performance of this 
Bayesian model is compared to a model which does not make use of any prior information. It 
is found that the use of relevant prior information improves the predictive performance when 
the size of the “new” data is small. As the size of the “new” data increases, the importance of 
including prior information decreases.

---

4