Большинство научных публикаций врут? [Veritasium]
Вот сайт с шаурмой.
Музыка.
В 2011 году авторитетный журнал, посвященный вопросам личности и социальной психологии, опубликовал статью под названием "Чувствовать будущее: экспериментальное подтверждение аномального ретроактивного воздействия на сознание и чувства".
Другими словами, доказательства, что люди могут видеть будущее. В статье приведены 9 экспериментов, в которых участниками на экране показывали 2 шторы и просили угадать, какой из них скрывает изображение, а за другой – просто белая стена.
Как только участник делал выбор, компьютер помещал изображение за одной из них, а затем отодвигал выбранную штору и показывал изображение или стену.
Изображения случайным образом выбирались из трех категорий: нейтральные, отрицательные или эротические. Если участники выбирали нужную штору, это считалось успехом. Логично, что вероятность успеха была примерно 50 процентов, что и показали результаты опыта, по крайней мере, для негативных и нейтральных изображений.
Эротические же, однако, получили 53 процента. Значит ли это, что мы можем видеть будущее? Зависит от того, как оценить это.
Подходящим инструментом для оценки значимости данных помогает p-значение. Определяющая вероятность какого-либо результата - это нулевая гипотеза. Здесь она заключалась в том, что люди на самом деле не заглядывают в будущее, а 53 процента - просто удачное совпадение.
В этом исследовании p-значение было равно 1/100, то есть вероятность того, что 53 процента угадываний - случайность, равна одному проценту. Если p-значение меньше 0,05, их данные обычно считают достоверными и публикации обычно происходят.
Но может стоит поднять планку, прежде чем признавать, что люди могут предсказывать будущее и приглашать авторов исследования на телевидение. Но выбор за вами.
Сам порог 5 процентов произвольно вызван Рональд Плащи Рома, книга 1925 года. Связи с этим стоит вопрос: сколько много опубликованных исследований на самом деле врут?
Хочется ответить: 5 процентов. Ведь если все используют порог статистической значимости в 5 процентов, то каждые 5 из 100 результатов будут ложноположительными.
К сожалению, это сильная недооценка существующей проблемы. И вот почему: скажем, вы работаете в области, где в данный момент существует тысяча гипотез. Предположим, 10 процентов.