研究:論文作者的名字對同行評審員有著“驚人的”影響
想像一下,如果你收到一篇要為某期刊審稿的論文,而作者的名字讓你眼前一亮,是一位諾貝爾獎獲得者的名字。與作者是個新手相比,你會更傾向於推薦這篇論文發表嗎?9月份發表的研究報告說,是的:諾貝爾獎獲得者的論文被接受的可能性是不太知名的人的六倍。
研究作者、奧地利格拉茨大學的Stefan Palan說:“這是巨大的。每個人都預期會有影響。但這種影響的規模確實令人吃驚。”
Palan關於“地位偏見”的研究支持這樣的觀點:雙重匿名同行評審–評審員的身份對作者保密,反之亦然–產生更客觀的結果。Palan說:“我認為雙盲才是要走的路。”Palan是一名金融研究員,擔任《行為與實驗金融》雜誌的聯合編輯,該雜誌採用強制性雙匿名審查。
近年來,越來越多的研究對同行評審的做法進行了研究,揭開了不同類型評審中的性別偏見(男性作者獲得的接受率高於女性作者)和地位偏見(知名度較高的作者獲得了提升)等問題。
科學期刊最常用的審稿方法是單一匿名審稿,即審稿人的名字不為作者所知。以全球最大的出版公司之一Wiley為例,1500多種期刊中有62%使用單匿名審稿,而只有37%使用雙匿名審稿(其餘1%使用稱為三匿名的模式,即審稿人是匿名的,作者的身份對審稿人和處理期刊的編輯都是未知的)。各個學科的標準做法不同:那些預印本文化活躍的學科,如物理學,往往更開放,而社會科學和衛生學期刊往往更喜歡匿名。
Palan承認,雙重匿名審查在邏輯上很難實施:作者經常不小心在研究中暴露了自己;審查員經常可以猜測作者的身份,或在Google搜索中找到該論文;而且執行起來會給編輯增加昂貴的工作。但是,8月份發布的第二項研究–在超過15萬篇論文的樣本中證實了身份偏見的影響–表明,只需向作者推薦這種方法,而不是強制執行一個系統,就可以實現雙重匿名審查的積極影響。雖然可選擇的系統的影響規模比強制系統小,但價格卻低得多。
“雙盲同行評審是我所倡導的,”主要作者Inna Smirnova說,她是位於安阿伯的密歇根大學的信息研究員。
具有諷刺意味的是,這兩項研究都出現在SSRN(前身為社會科學研究網)上,這是一個非同行評審的場所,幫助學者們快速傳播早期研究。兩項作品也都提交給了同行評審的期刊,但預印本使得雙重匿名評審的可能性降低。“在社會科學領域發表預印本正變得越來越普遍,”Smirnova說。“該領域的規范正在轉變,我們也跟著轉變。”
作為一名期刊編輯,Palan想檢查雙重匿名審查在其期刊中的影響。他找到了諾貝爾獎獲得者弗農·史密斯,看他是否有一篇正在撰寫的論文,是否願意參加一個實驗。史密斯是加州查普曼大學的經濟學家,他的同事Sabiou Inoua是該大學的早期經濟學家,他提交了一篇論文。
為了進行測試,Palan和他的同事邀請了3000多人審閱論文,有時會透露兩位作者中的一個或另一個人的名字,有時則不透露。論文上蓋章的名字影響了人們是否願意審查它:邀請接受率從初級作者姓名被披露時的29% 上升到獲獎者姓名被披露時的36%。
更重要的是,對作者身份的了解明顯地影響了審稿人對論文的意見。不知道諾貝爾獎獲得者的作者身份使建議拒絕率提高了近三倍,從23%(當諾貝爾獎獲得者的名字被披露時)到65%(當鮮為人知的作者的名字被披露時)。當史密斯的作者身份被公佈後,直接接受論文或稍作修改的建議激增了六倍–從10%到59%。Inoua說:“我憑直覺知道Vernon和我不會遭受審稿人同樣的拒絕率,但不會有這麼大的差距。他們的論文現在正在進行修改–基於令人生畏的600多頁審稿人意見,而不是通常的幾個審稿人的一頁或三頁。”
對論文作者的高地位的了解可能會合理地影響審稿人的意見:例如,這可能會提高他們接受一個反直覺的結果的意願,因為作者有嚴謹的記錄。但Palan的研究發現,審稿人的意見在他們被問及的所有六項措施中都發生了變化,包括主題的價值、信息的新穎性以及結論是否得到支持。Palan認為,這些東西不應該都受到作者身份知識的影響。
之前的一項研究表明,在排除質量差的作品發表方面,單人匿名審查比雙人匿名審查更差,這意味著雙人匿名決定對科學來說“更好”。
為了檢查強制性的雙重匿名審查制度是否有必要減少地位偏見,Smirnova和她的同事研究了提交給物理學會下屬的IOP出版社出版的57種期刊的論文;該出版社在2020年11月宣布,它將逐步採用選擇性的雙重匿名審查。
該團隊發現,匿名化使低等級作者的接受率提高了5.6%,而高等級作者的接受率降低了2.2%。Smirnova說,這種增加可以幫助“邊緣化的作者群體,他們經常為讓自己的作品看到世界而奮鬥”。研究人員檢查了該政策是否產生了不必要的影響–比如願意審閱論文的人數減少,或者對作者被匿名的論文產生新的偏見。研究小組沒有發現這種影響,這表明可選的雙重匿名審查幾乎沒有壞處。
儘管有這些好處,但很少有作者傾向於接受這種選擇。在IOP出版公司的研究中,只有超過五分之一的研究人員在引入雙重匿名審查後選擇保持匿名。2015年,《自然》雜誌系列採用了可選的雙重匿名審查,但在2015年至2017年期間提交論文的作者中,只有12%選擇了這種途徑。Smirnova希望她的團隊的工作能“激發更多的轉變”。
包括《自然》雜誌在內,另一個越來越受歡迎的選擇是透明評審,即公開評審。除了三重匿名,還有一種模式是公開評審–在這種模式下,每個人的身份都是公開的。每種方法都有好處和隱患。
明尼蘇達州羅切斯特梅奧診所研究證據生成和綜合的臨床流行病學家Hassan Murad說:“蒙蔽同行評審過程有其自身的優點:減少偏見。”在研究了關於同行評審的文獻後,Murad說,新的結果符合他的預期。他補充說:“但是,當然,也有缺點。其中包括增加了捏造或欺詐可能不被發現的風險。但沒有什麼是完美的。我不認為有一個沒有偏見的系統。”
“這是除了所有其他系統之外最糟糕的系統,”Palan在談到雙重匿名審查時開玩笑說。“我認為它有很多缺陷,但我沒有看到一個更好的系統。其他的有更多的缺陷。”