Bayesian Logistic Regression Models for Credit Scoring by Gregg Webster

Metropolis-Hastings algorithm 
We wish to construct a Markov chain which has its stationary distribution equal to the 
target distribution.
The results from the previous section are now used to construct a transition kernel, 
( )
, that has an invariant density equal to the target density. We consider this in the 
continuous case. The Metropolis-Hastings algorithm is a general algorithm for sampling 
from any form of posterior distribution.
The Metropolis-Hastings (MH) algorithm has two ingredients: Lemmas 3.3 and 3.4. 
Lemma 3.4 essentially means that we can sample dependent samples from a Markov chain 
and we can use
∑
( 
)
to estimate 
( ( ))
. 
We now use Lemma 3.3 (detailed balance condition). A transition kernel that holds true 
for this lemma is known as a reversible kernel and results in a stationary distribution. This 
lemma can help in finding a kernel that has the desired target distribution. Following Chib 
and Greenberg (1995), we make an irreversible kernel reversible. If a kernel is not 
reversible for some pair 
( )
we may have 
( ) ( ) ( ) ( )
.
(3.23) 
We wish to make this inequality an equality. In this case there are more moves from 
to 
than 
to 
. In order to achieve an equality, before we make a move from 
to 
we 
impose a probability 
( )
with which such a move will be accepted. This 
probability 
( )
must be such that
( ) ( ) ( ) ( ) ( )
. This means that
( ) (
( ) ( )
( ) ( )
)
This ensures that the detailed balance condition holds. If, on the other hand, we have 

---

58 
( ) ( ) ( ) ( )
then we multiply the right-hand-side by 
( )
and obtain 
( ) (
( ) ( )
( ) ( )
)
This then leads to the Metropolis-Hastings algorithm: 
-
1. Choose a transition kernel 
with 
( )
for all states 
; 
-
2. Start at 
with some arbitrary state 
; 
-
3. If
, generate a random variable 
( 
)
and 
( )
; 
-
4. If 
(and
) set 
{
( 
)
-
5. 
and return to 3. 
Here 
( ) (
( ) ( )
( ) ( )
)
. 
This Metropolis-Hastings algorithm is the principle algorithm which is used with Bayesian 
logistic regression.
The transition kernel, 
is the proposal kernel. There is considerable freedom in choosing 
the proposal kernel. However, care still needs to be taken in order to choose particularly 
useful ones. For example, when the proposal kernel does not “explore” the whole state 
space of 
( )
then certain values will not be sampled. There are two common choices for 
the proposal kernel which lead to the independence sampler and the random walk sampler.
The choice of the proposal kernel affects the acceptance rates of the algorithm. According 
to Ntzoufras (2009), the variance of the proposal controls the convergence speed of the 
algorithm. Small variances of the proposal kernel will result in high acceptance rates, but 
low convergence since the algorithm will need a large number of iterations to explore the 
entire parameter space. Conversely, a high variance will result in low acceptance rates and 
a highly correlated sample. The optimal acceptance rate is between 20% and 40% 
(Ntzoufras, 2009). For models with a large number of parameters the acceptance rate 
should be towards the lower bound, for a univariate model the acceptance rate should be 
towards the upper bound. The way to obtain the acceptance rate in this range is by tuning 

---

59 
the variance of the proposal kernel. Metropolis-Hastings algorithms include a tuning 
parameter. This parameter is “tuned” so that the acceptance rate is between 20-40%.