Думай медленно решай быстро

Закон малых чисел 
Мое сотрудничество с Амосом в 1970-е годы началось с дискуссии об
утверждении, что люди обладают интуитивным статистическим чутьем,
даже если их статистике не обучали. На семинаре Амос рассказал нам об
исследователях из Мичиганского университета, которые в целом
оптимистично относились к интуитивной статистике. Меня эта тема очень
волновала по личным причинам: незадолго до того я обнаружил, что я —
плохой интуитивный статистик, и мне не верилось, что я хуже других.
Для психолога-исследователя изменчивость выборки — не просто
странность, это неудобство и помеха, которая дорого обходится, превращая
любое исследование в игру случая. Предположим, вы хотите подтвердить
гипотезу, что словарный запас шестилетних девочек в среднем больше, чем
словарный запас мальчиков того же возраста. В объеме всего населения
гипотеза верна, у девочек в шесть лет словарный запас в среднем больше.
Однако девочки и мальчики бывают очень разными, и можно случайно
выбрать группу, где заметной разницы нет, а то и такую, где мальчики
набирают больше баллов. Если вы — исследователь, такой результат вам
дорого обойдется, поскольку, потратив время и усилия, вы не подтвердите
правильность гипотезы. Риск снижается только использованием достаточно
большой выборки, а те, кто работает с маленькими выборками, отдают себя
на волю случая.
Риск ошибки в каждом эксперименте оценивается при помощи
довольно 
простой 
операции, 
однако 
психологи 
не 
пользуются
вычислениями для определения размера выборки, а принимают решения в
соответствии с собственным, зачастую ущербным, пониманием. Незадолго
до дискуссии с Амосом я прочитал статью, прекрасно иллюстрирующую
типичные ошибки исследователей. Автор отмечал, что психологи сплошь и
рядом используют настолько маленькие выборки, что рискуют не
подтвердить верные гипотезы с вероятностью 50 %
[119]
! Ни один разумный
исследователь не примет такой риск. Правдоподобным объяснением
казалось то, что решения психологов относительно размера выборок
отражали господствующие интуитивные заблуждения о диапазоне
изменчивости.
Меня поразили содержащиеся в статье объяснения, проливающие свет
на проблемы с моими собственными исследованиями. Как и большинство

---

психологов, я постоянно использовал слишком маленькие выборки и часто
получал 
бессмысленные, 
странные 
результаты, 
оказывавшиеся
артефактами, которые порождал сам метод моих исследований. Мои
ошибки были тем постыднее, что я преподавал статистику и умел
вычислять размер выборки, необходимый для снижения риска неудачи до
приемлемого уровня. Но я никогда этим не занимался при планировании
экспериментов и, подобно другим исследователям, верил традиции и
собственной интуиции, не задумываясь о проблеме всерьез. К моменту,
когда Амос посетил мой семинар, я уже осознал, что моя интуиция не
работает, а во время самого семинара мы быстро пришли к выводу, что
ошибаются и оптимисты из Мичиганского университета.
Мы с Амосом решили выяснить, есть ли среди исследователей такие
же наивные глупцы, как я, и допускают ли те же ошибки ученые,
обладающие математическими знаниями. Мы разработали опросник с
описанием реалистичных исследований и успешных экспериментов.
Опрашиваемые должны были определить размеры выборок, оценить
связанные с этими решениями риски и дать советы гипотетическим
аспирантам, 
планирующим 
научно-исследовательскую 
работу. 
На
конференции Общества математической психологии Амос провел опрос
присутствующих (включая авторов двух учебников по статистике).
Результаты оказались очевидны: я был не одинок. Почти все респонденты
повторили мои ошибки. Выяснилось, что даже эксперты недостаточно
внимательны к размеру выборки.
Первая статья, написанная мной в соавторстве с Амосом, называлась
«Вера в закон малых чисел»
[120]
. В ней шутливо пояснялось, что «…
интуитивная оценка размера случайных выборок, похоже, удовлетворяет
закону малых чисел, гласящему, что закон больших чисел с тем же успехом
применим и к малым». Также мы включили в статью настойчивую
рекомендацию для исследователей относиться к своим «статистическим
предчувствиям с недоверием и при любой возможности заменять
впечатления вычислениями».