Ultralearning

The Testing Effect
Imagine  you’re  a  student  preparing  for  an  exam.  You  have  three  choices
about how you can allocate your limited studying time. First, you can review
the material. You can look over your notes and book and study everything
until you’re sure you’ll remember it. Second, you can test yourself. You can
keep  the  book  shut  and  try  to  remember  what  was  in  it.  Finally,  you  can
create  a  concept  map.  You  can  write  out  the  main  concepts  in  a  diagram,
showing how they’re organized and related to other items you need to study.
If you can pick only one, which one should you choose to do best on the final
exam?
This  is  essentially  the  question  posed  by  the  psychologists  Jeffrey
Karpicke  and  Janell  Blunt  in  one  study  examining  students’  choice  of
learning strategy.
2
 In the study, students were divided into four groups, each
given  the  same  amount  of  time  but  told  to  use  different  study  strategies:
reviewing  the  text  a  single  time,  reviewing  it  repeatedly,  free  recall,  and
concept mapping. In each group, students were asked to predict their score on
the upcoming test. Those who did repeated reviewing predicted that they’d
score  the  best,  followed  by  the  single-study  and  concept-mapping  groups.
Those who practiced free recall (trying to remember as much as they could
without looking in the book) predicted the worst for their final performance.
The actual results, however, weren’t even close. Testing yourself—trying
to retrieve information without looking at the text—clearly outperformed all
other conditions. On questions based directly on the content of the text, those
who practiced free recall remembered almost 50 percent more than the other
groups.  How  could  students,  who  have  spent  years  getting  firsthand
experience  about  what  matters  to  learning,  be  so  misguided  about  what

---

actually produces results?
One might be tempted to argue that this benefit of self-testing is an artifact
of  the  way  success  is  measured.  The  principle  of  directness  asserts  that
transfer  is  difficult.  Since  self-testing  and  actual  testing  are  most  similar,
perhaps it is this similarity that allows this method to work better. Had the
method of evaluation differed, it might be reasonable to suspect that review
or  concept  mapping  might  come  out  on  top.  Interestingly,  in  another
experiment,  Karpicke  and  Blunt  showed  that  this  wasn’t  the  explanation,
either. In this experiment the final test was to produce a concept map. Despite
the overwhelming similarity to the evaluation task, free recall still did better
than using concept mapping to study.
Another possible explanation for why self-testing works is feedback. When
you review something passively, you don’t get any feedback about what you
know  and  don’t  know.  Since  tests  usually  come  with  feedback,  that  might
explain why students who practiced self-testing beat the concept mappers or
passive  reviewers.  Though  it  is  true  that  feedback  is  valuable,  once  again,
retrieval  doesn’t  simply  reduce  down  to  getting  more  feedback.  In  the
experiments  mentioned,  students  were  asked  to  do  free  recall  but  weren’t
provided  any  feedback  about  items  they  missed  or  got  wrong.  The  act  of
trying to summon up knowledge from memory is a powerful learning tool on
its own, beyond its connection to direct practice or feedback.
This new perspective on learning shows how Carr’s book, with its lists of
proofs  without  solutions,  could  have  become,  in  the  hands  of  someone
sufficiently  motivated  to  master  them,  an  incredible  tool  for  becoming
brilliant  at  math.  Without  the  answers  at  hand,  Ramanujan  was  forced  to
invent  his  own  solutions  to  the  problems,  retrieving  information  from  his
mind rather than reviewing it in a book.