Founded in 1807, JohnWiley & Sons is the oldest independent publishing company in

A classic example of the flaw of
averages involves the
statistician who drowned
crossing a river that was on
average 3ft. deep.
F I G U R E 1 5 . 4
Flaw of averages – illustration
Source: Cartoon by Jeff Danziger from
The Flaw of Averages: Why We Underestimate Risk in
the Face of Uncertainty
by Sam L. Savage, John Wiley & Sons, 2012. © John Wiley & Sons.
Reproduced with permission.
incidents. As a result, risk managers should refrain from reporting losses, ratings and
frequency of events,
on average
; it just produces misleading results.
Sam Savage’s book
The Flaw of Averages
is dedicated to the misuse of averages in
risk management.
6
It includes the cartoon in Figure 15.4, which neatly highlights why
averages can be dangerous. Think of the riverbed as the distribution of operational loss
events: for the most part they are very limited, but sometimes they can be large enough
to sink the firm. Averaging operational losses can be dangerously misleading.
A l t e r n a t i v e s t o A v e r a g e s
Managers usually look puzzled when told not to average data. Better alternatives
to averages are the median (the mid-point of a distribution) and quartiles (P25 and
P75, the first and third quarters of the data values), as they can be selected and
presented easily.
But if averaging
all
operational losses can be misleading, it is usually caused
by a handful of outliers, a few very large events. If loss data are split between the
expected losses (EL: small and frequent risk events) and the unexpected losses
6
Savage, S.L. (2012)
The Flaw of Averages: Why We Underestimate Risk in the Face of Uncer-
tainty
, John Wiley & Sons. Sam Savage has been a consulting professor at Stanford University
since 1990.

---

Risk Reporting
169
(UL: large, infrequent, severe incidents), the EL distribution is more concentrated,
more symmetric and more suitable for averaging. Large loss events need to be
reported individually, while EL can be the object of classic descriptions, with
minimum, maximum and average.
B e n c h m a r k t o G r o s s I n c o m e
Reporting the losses to a benchmark, typically the
gross income, can be very effective to attract the attention of senior management.
In my experience, firms that have developed a high-performing operational risk
management practice experience a total volume of losses between 1.8% and 2.2% of
operational losses to gross income. Between 2.2% and 3% is common and above 3%
are higher levels of operational losses, often due to environments with many manual
and complex processes or a history of underinvestment in people and systems. A ratio
of operational losses to gross income inferior to 1.5% is more likely to originate
from underreporting rather than from good operational performance. Interestingly,
firms for the food retail and telecommunication sectors told me they are experiencing
operational losses around 2% of gross income as well and working hard to reduce
those losses.
T U R N I N G D A T A I N T O S T O R I E S
In risk reporting, like many other forms of reporting, the value of information lies
in deviations from the norm. For example, credit card frauds are detected by abnor-
mal spending patterns, excellent traders (positive outliers) have unusually long per-
formance records, rogue traders (negative outliers) display unusually low volatility in
performance, the best managers have greater staff retention and the highest produc-
tivity levels, and poor suppliers have the largest number of operational mishaps. The
value of information lies in data patterns, in concentrated parts of the distributions and
in distances between observations. You need to pinpoint where the most or least num-
ber of events are, what the variations are in performance, the record highs and record
lows, and how to interpret everything. To turn data into stories, by all means look at
the individual data points, graphically and numerically, clean obvious entry errors and
missing fields, and then look for outliers, clusters and patterns. Next, seek interpre-
tation for these behaviors before distilling the points into summary statistics. Adjust
your analysis to your data.
Risk reporting is the opportunity to investigate the reality behind numbers and
to determine what is going well and what might go wrong. Remember that positive
outliers carry just as much information as negative ones. Sadly, most firms still dedicate
more attention to reporting problems than highlighting and explaining success stories.