Ultralearning

What Should Be Retrieved?
The research is clear: if you need to recall something later, you’re best off
practicing retrieving it. However, this neglects an important question: What
kinds of things should you invest the time in to remember in the first place?
Retrieval may take less time than review to get the same learning impact, but
not  learning  something  at  all  is  faster  still.  This  is  an  important  practical
question. Nobody has time to master everything. During the MIT Challenge,
I covered a lot of different ideas. Some were directly relevant to the kind of
programming  I  wanted  to  do  when  I  was  done,  so  making  sure  I  retained
those ideas was a priority. Others were interesting, but since I had no plans to

---

use  them  immediately,  I  put  more  effort  into  practicing  retrieving  the
underlying  concepts  than  doing  technical  calculations.  One  class  I  did,  for
instance,  was  Modal  Logic.  As  I  have  no  plans  to  be  a  logician,  I  can
honestly say, eight years later, that I couldn’t prove theorems in modal logic
today. However, I can tell you what modal logic is for and when it is used, so
if a situation arises in which the techniques I learned in that class might be
useful, I’d have a much better time spotting it.
*
 There will always be some
things  you  choose  to  master  and  others  you  satisfy  yourself  with  knowing
you can look up if you need to.
One way to answer this question is simply to do direct practice. Directness
sidesteps  this  question  by  forcing  you  to  retrieve  the  things  that  come  up
often in the course of using the skill. If you’re learning a language and need
to  recall  a  word,  you’ll  practice  it.  If  you  never  need  a  word,  you  won’t
memorize it. The advantage of this strategy is that it automatically leads you
to learn the things with the highest frequency. Things that are rarely used or
that are easier to look up than to memorize won’t be retrieved. These tend to
be the things that don’t matter so much.
The problem with relying on direct practice exclusively is that knowledge
that isn’t in your head can’t be used to help you solve problems. For instance,
a programmer may realize a need to use a certain function to solve a problem
but forgets how to write it out. Needing to look up the syntax might slow her
down, but she will still be able to solve the problem. However, if you don’t
have enough knowledge stored to recognize when you can use a function to
solve your problem, no looking up can help you. Consider that over the last
twenty years, the amount of knowledge easily accessible from a quick online
search has exploded. Nearly any fact or concept is now available on demand
to anyone with a smartphone. Yet despite this incredible advance, it is not as
if  the  average  person  is  thousands  as  times  as  smart  as  people  were  was  a
generation  ago.  Being  able  to  look  things  up  is  certainly  an  advantage,  but
without a certain amount of knowledge inside your head, it doesn’t help you
solve hard problems.
Direct  practice  alone  can  fail  to  encourage  enough  retrieval  by  omitting
knowledge that can help you solve a problem but isn’t strictly necessary to do
so.  Consider  our  programmer  who  has  two  different  ways  to  solve  her
problem, A and B. Option A is much more effective, but B will also get the
job done. Now suppose that she knows only about option B. She’ll continue
to  use  the  way  she  knows  to  solve  the  problem,  even  though  it  is  less

---

effective.  Here,  our  fledgling  programmer  might  read  about  option  A  on  a
blog  somewhere.  But  since  simply  reading  is  much  less  effective  than
repeated  retrieval  practice,  chances  are  that  she’ll  forget  about  it  when  it
comes  time  to  apply  the  technique.  This  may  sound  abstract,  but  I’d  argue
that this is quite common with programmers, and often the thing separating
mediocre programmers from great ones isn’t the range of problems they can
solve but that the latter often know dozens of ways to solve problems and can
select the best one for each situation. This kind of breadth requires a certain
amount of passive exposure, which in turn benefits from retrieval practice.