Представим себе, что у исследователя есть гипотеза, будто мужчины в целом склонны инвестировать более рискованно, чем женщины [10]. Контроль статистической значимости оправдан, если исследователь выбирает один способ проверки своей гипотезы и заранее решает, сколько мужчин и женщин будут участвовать в эксперименте. И вот вы приводите группу людей в лабораторию и попросите их принять инвестиционное решение: куда вкладывать деньги, в акции или облигации. Обнаружив, что мужчины более склонны выбирать акции, вы получите доказательства в пользу своей гипотезы. Но что если вы предложите участникам исследования акции и облигации с разной степенью риска? Как вы проверите следующее:

1) что мужчины чаще выбирают акции, а женщины – облигации;

2) что мужчины предпочитают акции с более высокой степенью риска, чем женщины;

3) что мужчины предпочитают облигации с более высокой степенью риска, чем женщины;

4) что мужчины в целом готовы пойти на более высокий уровень риска в своих инвестициях, по результатам испытаний тремя различными методами агрегирования, разработанными представителями науки о финансах (4а, 4б и 4в).

Теперь представьте себе, что в вашем эксперименте участвуют 15 мужчин и 15 женщин. Результаты склоняются в предсказанном вами направлении, однако они не соответствуют уровню значимости р < 0,05. Вы вновь проводите эксперимент с другими 15 женщинами и 15 мужчинами. Теперь результаты минимально значимы (уровень значимости колеблется между 0,1 и 0,05), поэтому вы проводите эксперимент еще раз – теперь с 20 мужчинами и 20 женщинами. Наконец, объединив результаты трех экспериментов, вы видите, что мужчины значительно чаще, чем женщины, выбирают инвестиции с большей степенью риска.

Основная идея этого гипотетического примера заключается в том, что исследователь может использовать множество разных выводов для проверки одной идеи; на языке ученых, он может собрать множество зависимых переменных. Если результаты полученного им массива данных близки к уровню значимости, ничто не мешает ему собрать дополнительную информацию – то есть несколько раз попытаться добиться, чтобы результат удовлетворял критерию р < 0,05. Кроме того, часть данных он может исключить (странные ответы, предполагающие, что участники не поняли задание), после того как вся информация собрана, и он видит, что это положительно повлияет на результаты.

В 2011 году исследователи-психологи Джо Симмонс, Лейф Нельсон и Ури Симонсон опубликовали великолепную работу, в которой показали, что использование четырех степеней свободы и доля креативности почти наверняка приведут любые убедительные доказательства к вероятности р < 0,05, даже если проверяемая гипотеза неверна [11]. Даже если для проверки своей идеи множеством разных способов исследователь использует случайные данные, его шанс достичь желаемого эффекта значительно превышает 5 % – и он может затем опубликовать тот вариант, который дал нужные результаты. Симмонс с коллегами демонстрируют, что очень небольшое количество степеней свободы позволяет поднять вероятность получения значимого результата выше 50 % даже с использованием случайных данных. Другими словами, их исследование показывает, что более чем возможно работать в рамках установленных правил и прийти к желаемым, но неверным результатам.