Наукообразная чушь (страница 5)

Страница 5

Эта идея не то чтобы революционна – или была нова для Поппера, написавшего эти слова в 1950-х годах. Вернувшись в XVII век, когда журнал Philosophical Transactions только зародился, мы обнаружим, что сооснователь Королевского общества, химик Роберт Бойль, делал все возможное и невозможное, чтобы убедиться в воспроизводимости своих результатов. Он многократно демонстрировал эксперименты по установлению различных свойств воздуха и вакуума с использованием своего знаменитого воздушного насоса перед толпами зевак, а после заставлял их подписывать свидетельские показания о том, что они действительно наблюдали демонстрировавшийся процесс[52]. Он следил, чтобы его труды были написаны достаточно обстоятельно, дабы “человек, коему я их адресовал, сумел без ошибок и особых помех повторить столь необычные эксперименты”[53]. И хотя соорудить сложный аппарат было весьма непросто, он призывал других натурфилософов повторить его эксперименты с воздушным насосом в других частях Англии и Европы и оказывал им в том содействие[54].

Таким образом, воспроизведение экспериментов долгое время было ключевым ингредиентом рецепта, по которому должна была работать наука (и кстати, это еще один ее социальный аспект: результаты воспринимаются всерьез только после того, как окажутся подтверждены несколькими исследователями). Но с тех пор, где-то между Бойлем и современным академическим сообществом, громадное число ученых позабыли о важности повторений. В столкновении наших мертоновских идеалов с реалиями научной публикационной системы – не говоря уже о реалиях человеческой природы – идеалы оказались более хрупкими, оставив нас с научной литературой, полной ненадежных, недостоверных и невоспроизводимых результатов, которые зачастую больше путают, чем обогащают новым знанием.

В следующей главе мы узнаем, насколько научная литература запружена ненадежными, недостоверными и невоспроизводимыми результатами.

Глава 2. Кризис воспроизводимости

Взовьется на дыбы желанье власти

И валится, споткнувшись, в тот же миг[55].

Уильям Шекспир “Макбет”, акт 1, сцена 7

“Опубликовано” и “достоверно” – не синонимы.

Райан Носек, Джеффри Спайс и Мэтт Мотел[56]

Несомненно, самая популярная книга по психологии за минувшее десятилетие – это “Думай медленно… решай быстро” Даниэля Канемана. Не так много существует руководств по человеческому разуму, превосходящих канемановское. Он получил Нобелевскую премию по экономике 2002 года за свои исследования человеческой (ир)рациональности и опубликовал результаты десятков искусных экспериментов, демонстрирующих ограничения нашей способности мыслить. Книга “Думай медленно… решай быстро” стала сенсацией, суммарные продажи исчислялись миллионами экземпляров, и она до сих пор недурно расходится. И на то есть причины: это живо и доступно написанный путеводитель по всем ошибкам и искажениям человеческого мышления[57]. Помимо многих других тем Канеман осветил работы по “праймингу”, как называют это явление психологи. Некоторые примеры прайминга (эффекта предшествования) имеют отношение к языку. Например, установлено, что если я показываю вам на экране компьютера набор слов по одному и прошу нажимать на клавишу всякий раз, как появляется слово “ложка”, то вы будете реагировать чуточку быстрее, если перед тем высвечивалось слово “вилка” (или какой-то еще из столовых приборов), чем когда предшествующим словом было “дерево” (или что-то еще не относящееся к принадлежностям для приема пищи). Восприятие слова “вилка” психологически “настраивает” вас быстрее реагировать на близкое по смыслу слово[58].

Канеман, однако, описал нечто более неожиданное. Он осветил результаты исследования по социальной психологии, демонстрирующие, что формирование установок, связанных с определенными понятиями, – обычно неосознанное – может ощутимо влиять на наше поведение. Один пример известен как “эффект леди Макбет”. В 2006 году в журнале Science вышла статья о том, что, когда исследователи просили участников эксперимента переписать текст об аморальных поступках, те потом с большей вероятностью хотели купить мыло, а просьба вспомнить что-то неприглядное из собственных деяний заставляла их чаще брать при выходе из лаборатории дезинфицирующую салфетку (“Проклятое пятно!”). Здесь воздействие оказывалось без словесных установок: получалось, что мозг работает куда более связно и целостно, чем мы полагали, что между понятиями и концепциями, вроде бы связанными очень условно, образуются прочные сшивки. В данном случае это казалось свидетельством некоего глубинного наложения понятий морали и чистоты. Авторы статьи утверждали, что эти результаты могут даже объяснить, почему омовение рук является частью столь многих религиозных ритуалов по всему миру[59].

Канеман также сделал обзор исследований “денежного прайминга”. В другой статье, вышедшей в Science в том же 2006 году, рассказывалось, как социальные психологи обнаружили, что, ненавязчиво напоминая людям о деньгах – скажем, сажая их за стол, где по случайности стоит компьютер с плавающими банкнотами на экранной заставке, – можно побудить их чувствовать и вести себя так, словно они более независимы, и меньше беспокоиться о других[60]. Авторы писали, что участники исследования, подвергшись денежному праймингу, предпочитали “играть в одиночку, работать в одиночку и держать бо́льшую физическую дистанцию между собой и новым окружением”[61]. И действительно, в ответ на просьбу расставить в комнате стулья для личной беседы с незнакомым человеком участники, подвергшиеся денежному праймингу, ставили стулья почти на тридцать сантиметров дальше один от другого по сравнению с участниками эксперимента, которые видели пустой экран компьютера. Нехилый эффект для простой экранной заставки, вероятно, подумали вы. И такой сценарий повторялся в большинстве значимых исследований прайминга: очень тонкие установки вызывали заметные изменения в поведении людей.

Канеман заключил, что подобные исследования прайминга “ставят под угрозу наше восприятие себя как сознательных и независимых творцов своих суждений и выборов”[62]. Он не сомневался в их надежности. И писал: “Не доверять этим данным нельзя. Они не выдумки и не статистические отклонения. Вам придется принять основные выводы исследований за истину. А еще важнее – принять их истинность применительно к вам[63].

Но Канеман напрасно столь безоговорочно доверял этим эффектам предшествования, хоть они и были опубликованы в одном из самых уважаемых научных журналов. Оказывается, наряду с разоблачением мошенничества Дидерика Стапела и публикацией “сверхъестественных” результатов Дэрила Бема именно исследование, посвященное праймингу, – или скорее неудачная попытка его повторить – стало еще одним из исходных стимулов, подхлестнувших изучение явления, известного сегодня как “кризис воспроизводимости”[64].

В том исследовании прайминга участников просили найти в списке разрозненных слов одно лишнее, так чтобы остальные слова можно было сложить в связное предложение. У одной половины участников лишние слова были случайными и нейтральными, а у другой – имеющими отношение к пожилым людям, например “старый”, “седой”, “мудрый”, “вяжет” и “Флорида” (Флорида известна в Америке как штат, где живет много пенсионеров). Выполнив задание, участники исследования могли уходить – но в тайне от них экспериментаторы замеряли, как быстро те шли по коридору к выходу из здания. Демонстрируя опять-таки ментальную связь между идеями и действиями, те участники, кого подвергли праймингу связанными со старостью словами, уходили из лаборатории медленнее по сравнению с контрольной группой[65].

Опубликованная в 1996 году, статья об этом эксперименте с тех пор была процитирована другими исследователями более пяти тысяч раз и вошла во все учебники по психологии – помню, как сам студентом изучал ее[66]. Однако в 2012 году независимая группа попыталась провести точно такой же эксперимент, только с большей выборкой и совершеннее с технической точки зрения, – и не выявила никакой разницы в скорости ухода участников. Исследователи предположили, что в исходной работе получились такие результаты, поскольку сотрудники лаборатории, замерявшие время по секундомерам, знали, кто из участников как должен был бы себя вести, и это, вероятно, отражалось на замеряемых величинах. Измерение скорости ухода с помощью инфракрасных лучей, как было сделано в исследовании-повторении, свело к нулю предполагаемый эффект прайминга[67]. В течение нескольких лет другие лаборатории пытались воспроизвести как “эффект леди Макбет”, так и эффект денежного прайминга, тоже с гораздо более внушительной и репрезентативной выборкой[68]. Эти попытки также очевидным образом провалились. Нет причин думать, что разнообразные результаты по праймингу были, процитируем Канемана, “выдумками”, – нужно исходить из предположения, что получены они были добросовестным образом. Но вот “статистические отклонения”? Пожалуй, именно они.

Другие исследования эффекта предшествования были не лучше. В одном утверждалось, что участники, подвергшиеся праймингу “расстоянием” – их попросили нарисовать на листе миллиметровки две удаленные друг от друга точки, – чаще чувствовали себя дистанцированными от друзей и родных; попытка повторить это исследование провалилась в 2012 году[69]. В другом исследовании утверждалось, что когда примеры моральных дилемм распечатывались на листах с окантовкой в шахматную клетку, то участники эксперимента выносили более поляризованные суждения, поскольку этот узор заставлял их думать о концепции “белое и черное”; попытка повторить это исследование провалилась в 2018 году[70]. Сходное направление исследований, согласно которому возможно сделать людей более категоричными, подвергнув их праймингу “отвращением”, было поставлено под сомнение в обзоре 2015 года[71].

Надо отдать Канеману должное – позже он признал, что был неправ, переоценив научную достоверность эффектов прайминга. “Экспериментальные доказательства идей, представленных мною в той главе, были значительно слабее, чем я полагал, когда писал ее, – сказал он через шесть лет после выхода книги “Думай медленно… решай быстро”. – Это было попросту ошибкой: все, что я должен был знать для того, чтобы сдерживать свой энтузиазм, я знал… но не обдумал”[72]. Однако вред уже был нанесен: нобелевский лауреат объявил миллионам людей, что “нельзя не доверять” этим исследованиям.

Прайминг – не единственный психологический эффект, о котором узнали миллионы. Гарвардский психолог Эми Кадди прославилась в 2012 году, после того как выступила на конференции TED, восхваляя “позы силы”. Непосредственно перед тем, как вы окажетесь в стрессовой ситуации, скажем на собеседовании, вам нужно потратить две минуты, советовала она, чтобы в каком-нибудь укромном уголке (вроде туалетной кабинки) встать в открытую, экспансивную позу, например широко расставив ноги и уперев руки в бедра. Эта властная поза стимулирует вас психологически и гормонально. В эксперименте, проведенном Кадди и ее коллегами в 2010 году, обнаружилось, что по сравнению с людьми, которым предписано было сидеть скрестив руки или ссутулившись, те, кому велели принять позу силы, не только чувствовали себя более властными, но и шли на больший риск в азартной игре и имели повышенный уровень тестостерона и пониженный – кортизола, гормона стресса[73].

[52] Подобное повторение опыта, хоть и проведенное лет на сто позже, изображено – в драматическом свете – на картине Джозефа Райта (Райта из Дерби) “Эксперимент с птицей в воздушном насосе”, сейчас находящейся в Лондонской национальной галерее.
[53] Boyle R. The New Experiments Physico-Mechanical, Touching the Spring of the Air and Its Effects. London: Miles Flesher, 1682. Цит. по: Shapin S., Schaffer S. Leviathan and the Air-Pump: Hobbes, Boyle, and the Experimental Life. Princeton: Princeton University Press, 1985.
[54] Shapin S., Schaffer S. Leviathan.
[55] Перевод М. Лозинского.
[56] Nosek B. A. et al. Scientific Utopia: II. Restructuring Incentives and Practices to Promote Truth Over Publishability. Perspectives on Psychological Science. 7, no. 6 (2012): 615–31.
[57] Kahneman D. Thinking, Fast and Slow. New York: Farrar, Straus and Giroux, 2011. [Канеман Д. Думай медленно… решай быстро. М.: АСТ, 2013.]
[58] Neely J. Semantic Priming Effects in Visual Word Recognition: A Selective Review of Current Findings and Theories // Basic Processes in Reading: Visual Word Recognition. Abingdon: Routledge, 2012.
[59] Zhong C. B., Liljenquist K. Washing Away Your Sins: Threatened Morality and Physical Cleansing. Science. 313, no. 5792 (2006): 1451–2.
[60] Vohs K. D. et al. The Psychological Consequences of Money. Science. 314, no. 5802 (2006): 1154–6.
[61] Там же.
[62] Перевод “Школы перевода Баканова”.
[63] Kahneman D. Thinking, Fast and Slow.
[64] Насколько мне известно, термин происходит из статьи Пашлера и Вагенмэйкерса, которые не использовали словосочетание “кризис воспроизводимости” впрямую, но говорили о “кризисе доверия” в психологических исследованиях после серии неудавшихся повторений. Нельсон, Симмонс и Саймонсон обсуждали причины возникновения кризиса. См. Pashler H., Wagenmakers E.-J. Editors’ Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence? Perspectives on Psychological Science. 7, no. 6 (2012): 528–30; Nelson L. D. et al. Psychology’s Renaissance. Annual Review of Psychology. 69, no. 1 (2018): 511–34.
[65] Bargh J. A. et al. Automaticity of Social Behavior: Direct Effects of Trait Construct and Stereotype Activation on Action. Journal of Personality and Social Psychology. 71, no. 2 (1996): 230–44.
[66] Количество цитирований (точное число – 5208) дано по состоянию на январь 2020 года в соответствии с Google Scholar.
[67] Doyen S. et al. Behavioral Priming: It’s All in the Mind, but Whose Mind? PLOS ONE. 7, no. 1 (2012): e29081.
[68] Earp B. D. et al. Out, Damned Spot: Can the “Macbeth Effect” Be Replicated? Basic and Applied Social Psychology. 36, no. 1 (2014): 91–8. Эффект денежного прайминга: Klein R. A. et al. Investigating Variation in Replicability: A “Many Labs” Replication Project. Social Psychology. 45, no. 3 (2014): 142–52.
[69] Исходное исследование: Williams L. E., Bargh J. A. Keeping One’s Distance: The Influence of Spatial Distance Cues on Affect and Evaluation. Psychological Science. 19, no. 3 (2008): 302–8. Повторение: Pashler H. et al. Priming of Social Distance? Failure to Replicate Effects on Social and Food Judgments. PLOS ONE. 7, no. 8 (2012): e42510.
[70] Исходное исследование: Zarkadi T., Schnall S. “Black and White” Thinking: Visual Contrast Polarizes Moral Judgment. Journal of Experimental Social Psychology. 49, no. 3 (2013): 355–9. Повторение: IJzerman H., Laine P.-J. Does Background Color Affect Moral Judgment? Three Pre-Registered Replications of Zarkadi and Schnall’s (2012) Study 1. Preprint, PsyArXiv (30 July 2018).
[71] Для прайминга “отвращением” экспериментаторы часто делали так, чтобы в помещении дурно пахло. Поэтому исследования на эту тему особенно примечательны: во многих статьях психологам приходилось с непроницаемым видом разглагольствовать об эффектах “спрея с запахом кишечных газов”, а в одной работе авторы невозмутимо обсуждали “патентованный одорант под названием «Жидкая задница»”. О средстве “Жидкая задница” см. Adams T. G. et al. The Effects of Cognitive and Affective Priming on Law of Contagion Appraisals. Journal of Experimental Psychopathology. 3, no. 3 (2012): 473. Обзор этого направления исследований: Landy J. F., Goodwin G. P. Does Incidental Disgust Amplify Moral Judgment? A Meta-Analytic Review of Experimental Evidence. Perspectives on Psychological Science. 10, no. 4 (2015): 518–36.
[72] McCook A. “I Placed Too Much Faith in Underpowered Studies”: Nobel Prize Winner Admits Mistakes. Retraction Watch. 20 Feb. 2017. Еще Канеман написал открытое письмо, адресованное социальным психологам, в котором сообщил, что узрел “угрозу катастрофы”, и призвал их изменить свой подход к исследованиям; см. тут: https://go.nature.com/2T7A2NV.
[73] Carney D. R. et al. Power Posing: Brief Nonverbal Displays Affect Neuroendocrine Levels and Risk Tolerance. Psychological Science. 21, no. 10 (2010): 1363–8.