Raising the Bar: Impacts and Implementation of the New Heights Program for Expectant and Parenting Teens in Washington, dc

Hypothesis testing 
We tested the hypothesis that the true impact is zero against a two-sided alternative. We 
reported statistical significance at three levels: 0.01, 0.05, and 0.10. We adjusted 
p
-values for 
multiple hypothesis testing within outcome domains using the Bonferroni adjustment of dividing 
the threshold for statistical significance by the number of outcome measures in the domain. The 
domains are attendance (measured by the number of excused and unexcused absences per 
semester and by the number of days attended per semester), credit accumulation (measured by 
the number of credits earned per year), and the semester graduation (measured by the proportion 
of students age 17 or older who graduate each year). Only the first domain has multiple outcome 
measures; thus, this is the only domain for which we applied an adjustment.
Sensitivity analyses 
Although we selected methodological approaches that we believe are most appropriate for 
this study, alternative approaches could also be regarded as appropriate. We conducted 
sensitivity analyses to assess how findings would change if we used alternative, but still arguably 
appropriate, approaches to address a range of issues. The issues we examined are: (1) how to 
account for clustering, (2) how to determine program eligibility, (3) which students to include in 
the analysis, (4) which covariates to include in our regression models, and (5) how much weight 
to assign to each semester.
We summarize results from analyses based on alternative methodological approaches in 
Table C.1. The estimated impact of New Heights expansion on unexcused absences per semester, 
excused absences per semester, days attended per semester, and credits earned per year are 
robust to alternative specifications. Consistent with the fact that our primary impact estimate for 
the semester graduation rate was marginally significant, estimated impacts for this outcome are 
24
As noted above, DC DOH data include only females ages 14 to 19, though these students might be observed in 
DCPS records at older or younger ages. Across all years, less than 2 percent of students are older than 19, and less 
than 1 percent of students are younger than 14. 
C.5 

---

APPENDIX C: ANALYTIC METHODS OF IMPACT ANALYSIS AND RESULTS FROM ALTERNATIVE MODELS
 
significant for only 8 of 22 alternative specifications. In the remainder of this section, we provide 
details on the results from each alternative approach.