Bayesian Logistic Regression Models for Credit Scoring by Gregg Webster

 
 

---

26 
3.2.3 Prior distributions
Specification of the prior distribution is important in Bayesian inference because it 
influences the posterior inference (Ntzoufras, 2009). In literature, often a prior with a 
normal distribution is used. The prior mean and variance is very important for 
specification of the prior. Ntzoufras (2009) explains that the prior mean provides a prior 
point estimate for the parameter of interest, while the variance gives an indication of the 
uncertainty on this estimate. A strong prior belief corresponds to a small prior variance and 
visa versa. When there is no prior information available, a prior is specified that will not 
influence the posterior distribution. Such a distribution is called a non-informative or 
vague prior distribution. Non-informative priors are often improper prior distributions in 
the sense that they are not integrable i.e. their integral is infinite. One can use improper 
priors as long as the resulting posterior is proper (Ntzoufras, 2009).
Conjugate priors 
Ntzoufras (2009) states that the posterior distribution is often not analytically tractable. 
This can be solved by using conjugate prior distributions. This allows integrals involved in 
the problem to be solved analytically. A conjugate prior distribution has the property of 
resulting to a posterior of the same distributional family. Lee (2004) provides a definition. 
Let 
be a likelihood function 
( | )
. A class 
of prior distributions is said to form a 
conjugate family if the posterior density 
( | ) ( ) ( | )
is in the class 
for all 
whenever the prior density is in 
.
 
 
Training sample priors 
Greenberg (2008) notes that when you have very little information on which to base a prior 
distribution, it is possible to train priors, providing you have a large number of 
observations. The idea is to make use of Bayesian updating. Greenberg gives the following 

---

27 
method: “a portion of the sample is selected as the training sample. It is combined with a 
relatively non-informative prior (a prior with a large variance and a mean of zero) to yield 
a first-stage posterior distribution” (Greenberg, 2008, p 53). This is then used as the prior 
for the remainder of the sample.