Iasc cluster approach evaluation, 2nd phase april 2010

Executive Summary
Introduction
Method
Background
Findings
Conclusions
Recommendations

---

22
 
•
   Limited comparability. The pre-selected set of country studies includes no countries 
in  which  the  cluster  approach  has  not  been  implemented  and  that  could  act 
as  a  control  group.  Moreover,  data  allowing  for  an  in-depth  assessment  of 
the  situation  in  country  before  the  introduction  of  the  cluster  approach  was 
difficult  to  obtain.  This  limited  the  evaluation  team’s  ability  to  compare  the 
cluster approach to alternative coordination mechanisms. The evaluation team 
sought  to  address  this  limitation  as  far  as  possible  by  identifying  in-country 
control  groups  on  the  sub-national  level,  such  as  regions  with  humanitarian 
crises where clusters were not active. 
 
•
   Limited involvement of affected populations and the government. As described above, 
directly attributing changes in the situation of the affected population to the cluster 
approach  is  difficult.  However,  all  country  evaluation  teams  conducted  group 
discussions with affected populations and used their input to verify findings and 
hone the evaluators’ attention to critical issues through the collection of stories 
and perceptions. Additionally, in some countries the evaluators had difficulties 
gaining access to national and local government authorities. 
 
•
   Evaluation and meeting fatigue. At least three country studies faced a high level of 
evaluation and meeting fatigue among stakeholders in country. A more careful 
case selection could have helped avoid related difficulties for both the evaluators 
and country teams. 
 
•
   No  presentation  of  beneficiary-level  baselines.  The  evaluation  was  also  intended 
to  create  baselines.  The  country  reports  provide  an  assessment  of  individual 
clusters  according  to  scaled  indicators,  which  can  be  used  as  baselines  for 
cluster  performance.  The  evaluation  team  also  attempted  to  collect  cluster-
specific  technical  indicators  relating  to  the  situation  of  affected  populations. 
Clusters, however, currently use a broad range of different indicators and their 
systematic  compilation  and  comparison  would  have  exceeded  the  scope  and 
mandate of this evaluation. Moreover, several clusters are currently working on 
similar initiatives. To avoid duplication, the evaluation team therefore did not 
compile beneficiary-level baseline indicators. 
 
•
   Preparedness. An important task of global clusters is to strengthen preparedness, 
for example by strengthening surge capacities for technical and coordination 
experts, stockpiling relevant equipment and materials (in the case of the service 
clusters)  and  developing  standard  operating  procedures.  This  evaluation  did 
not analyze the effectiveness of preparedness measures, since the subject was 
sufficiently covered in phase 1 of the evaluation.