Ultralearning

Further Notes on Types of Feedback
A few things are worth noting here. First, you need to be careful when trying
to  “upgrade”  feedback  from  a  weaker  form  to  a  stronger  form  if  it’s  not
actually  possible.  To  switch  from  outcome  feedback  to  informational
feedback,  you  need  to  be  able  to  elicit  feedback  on  a  per  element  basis  of
what  you’re  doing.  If  instead  the  feedback  is  being  provided  as  a  holistic
assessment  of  everything  you’re  doing,  trying  to  turn  it  into  informational
feedback can backfire. Game designers know to watch out for this, because
asking  play  testers  what  they  don’t  like  about  a  game  can  often  return
spurious results: for example, they don’t like the color of the character or the
background  music.  The  truth  is,  the  players  are  evaluating  the  game
holistically, so they often can’t offer this kind of feedback. If their responses
come from using it as a whole, not from each aspect individually, asking for
greater specificity may lead to guesses from those giving feedback.
Similarly, corrective feedback requires a “correct” answer or the response
of  a  recognized  expert.  If  there  is  no  expert  or  a  single  correct  approach,
trying  to  turn  informational  feedback  into  corrective  feedback  can  work
against  you  when  the  wrong  change  is  suggested  as  an  improvement.  De
Montebello noted to me that the advice most people gave him wasn’t terribly
useful,  but  the  consistency  of  it  was.  If  his  speech  elicited  wildly  different
reactions each time, he knew there was still a lot of work to do. When the
speech started to get much more consistent comments, he knew he was onto
something. This illustrates that ultralearning isn’t simply about maximizing
feedback  but  also  knowing  when  to  selectively  ignore  elements  of  it  to
extract  the  useful  information.  Understanding  the  merits  of  these  different
types of feedback, as well as the preconditions that make them possible, is a
big part of choosing the right strategy for an ultralearning project.