科學家發現不可靠的社會科學研究比可靠的研究更受關注
據外媒報導,2011年,一篇引人注目的心理學論文在社交媒體、新聞和學術界引起了轟動。該研究稱,人們將互聯網作為一種”外部”記憶形式,依靠互聯網獲取信息,而不是自己回憶事實。2018年,當一個心理學家團隊對該論文和其他20項備受矚目的社會科學研究進行測試時,該論文的一項關鍵發現未能得到復制。
但是原始論文已經被引用了1417次–其中400多次引用是在2018年的複制項目之後。平均而言,這遠遠多於該項目中確實複製了的論文。現在,一項新的研究支持了不可靠的研究的流行。未能複制的社會科學論文平均比成功複製的論文多出153次引用。
馬里蘭大學學院帕克分校的認知科學家Michael Dougherty說,這一最新結果“相當具有破壞性”,他並沒有參與這項研究。他表示:“長期以來,引用次數被視為研究質量的代表,”因此,不太可靠的研究被更多地引用,這一發現表明在如何評估這些工作方面存在一個“根本問題”。
加州大學圣迭戈分校的經濟學家Marta Serra-Garcia和Uri Gneezy對吸引人的研究想法是否會比平凡的想法得到更多關注感興趣,即使它們不太可能是真的。因此,他們收集了三個不同項目的80篇論文的數據,這些項目試圖複製重要的社會科學發現,取得了不同程度的成功。
他們週一在《科學進展》雜誌上報告說,那些未能複制的論文在Google學術上的引用次數明顯增加,平均每年增加16次引用。Serra-Garcia和Gneezy說,這是一個很大的數字–在同一時期,高影響力期刊上的論文平均每年積累了約40次引用。
當研究人員檢查了這些具有里程碑意義的複制項目之後發表的論文的引用情況時,他們發現這些論文很少承認複製失敗,只有12%的時間提到它。
Serra-Garcia指出,複製失敗並不一定意味著最初的發現是錯誤的。方法的改變和參與者不斷變化的習慣–比如互聯網使用模式的改變–可能會解釋為什麼一個以前的結果可能不成立。但她補充說,她的發現指向了研究中的一個基本矛盾。科學家們希望他們的工作是準確的,但他們也希望發表吸引人的結果。她說,當結果特別令人驚訝或激動時,同行評審員可能會降低他們對證據的要求,這可能意味著引人注目的結果和較弱的證據往往是並行不悖的。
梅西大學計算生物學家Thomas Pfeiffer同意”非凡的主張需要非凡的證據”這一準則,他研究複製問題,但沒有參與這項工作。他說,這表明有必要採取額外的保障措施,以提高已發表作品的可信度,比如對什麼是好的證據設置更高的門檻,以及做出更多的努力來關注強有力的研究問題和方法,而不是浮誇的發現。
弗吉尼亞大學的心理學家Brian Nosek說:”這一發現對於像我這樣的(研究)文化變革倡導者來說是一種貓膩。”他曾帶頭進行了一些複製工作,並且是Serra-Garcia 和Gneezy所借鑒的三個複制項目中的兩個的共同作者。他說,但在過於認真地對待它之前,值得看看這一發現本身是否可以用不同的論文樣本進行複制。
這個結果與以前的研究一致,這些研究表明流行的研究不太可靠。例如,2011年《感染與免疫》雜誌的一項研究發現,高影響力的期刊比低影響力的期刊有更高的撤稿率。他說,Dougherty的研究–目前是一個未經審查的預印本–發現更多高引用率的論文是基於較弱的數據。但是,2020年《美國國家科學院院刊》上的一篇論文對一個不同的論文樣本進行了研究,發現引用和復制之間沒有關係。Pfeiffer說,這表明論文的樣本可能真的很重要–例如,這種影響在高影響力的期刊中可能特別強烈。
Nosek 補充說,如果引人注目的結果的人氣競賽結束了,更強大但不那麼吸引人的論文仍可能長期積累更多的引用。“我們都看過足夠多的青少年電影,知道受歡迎的孩子最後會輸給聰明的怪胎。也許科學發現的運作方式也是如此。可信的研究結果不會得到太多的關注,但它們會堅持下去並最終獲勝。”