PNAS發文：「同質化」論文暴增從根本上阻礙了科學的進步
從2012年至今，我國科研論文的發表數量一直在持續增長。 據Web of science數據統計，近10年中國科研人員發表 SCI 論文總數已累計339.7萬篇，反超美國躍居全球榜首。 然而，論文數量的暴增是否真的代表科學的進步？
近日，美國著名SCI期刊PNAS（Proceedings of the National Academy of Sciences ）刊登文章《Slowed canonical progress in large fields of science》指出，在科學研究領域，”同質化”論文的大規模生產可能會阻礙新興思想的出現。
這篇文章出自美國西北大學和芝加哥大學聯合研究團隊，他們通過241門細分學科的9000萬篇論文的18億次引用的定量分析發現，大量論文的發表不但沒有加快研究範式的更替，反而鞏固了經典研究。 那些可能蘊含潛在的、顛覆性觀點的新論文正面臨出版難、閱讀量低、引用量少的困境，並且沒有因為時間的演進而吸引更多人的關注。
這種現象所帶來的後果是：如果科學家和研究機構仍然以「數量」來衡量科研能力，而不是關注科研品質和影響力，那麼論文的暴增將從根本上阻礙科學的進步！
新論文引用率低，無創新是普遍現狀
對大多數人而言，科學進步最直觀的表現就是”越多越好”，某一學科發表的論文越多，科學進步的速度就越快;研究人員越多，覆蓋的範圍就越廣。 即使不是每一篇論文都有翻天覆地的影響力，但每一篇論文都可以為聚沙成塔貢獻一粒沙子，增加新範式出現的可能。
事實上，眾多科學領域每年的論文發表數量正在快速增長。 以人工智慧為例，從2007年到2017年，近10年的時間中國AI論文增長了400%，企業論文增長了73%。 在國際學術會議中，ACL 2019年的投稿量超過2800篇，相比2018的1544篇，增量超過81%。 同年NeurIPS也增長40%，投稿量達6809篇。 CVPRICCVECCV三大計算機視覺頂會更是增幅明顯。
其背後的原因一方面與學術政策和激勵措施密切相關。 在科學研究領域，不論是職位晉陞還是考量績效，專利、發表文章、文章的引用以及刊登雜誌的影響因數都會成為核心指標。 這些量化指標決定了科研人員的職業軌跡以及學術機構、企業和評估標準。 對於一名高校學者而言，如果在規定的時間內發表足夠多的論文，就有可能獲得晉陞或者終身教職的機會。
而另一層原因是，論文的”品質”也越來越傾向於定量化評估，引用量普遍被用來衡量某一學科領域內個人、出版商和期刊的重要程度。 一篇引用次數多的論文會被預設為最佳、最有價值的研究，甚至會被視為該領域內的里程碑之作。
然而，這項研究中發現大量科研成果的發表不但沒有推動科學的發展，反而成了行進的阻力，這是因為某一科學領域發表的論文數量逐年增多時，學者更傾向於引用已有的經典論文，而不是新論文，反過來，較低的引用次數又進一步影響了新論文的關注度，這導致學術研究很難擺脫現經典研究思想的束縛，而事實也證明，更多的新論文創新度不高，多局限於已有的理論框架。
作者在文中具體列出了六項可能帶來的影響，並強調如果是研究範圍更廣的科研領域，以下現象可能會更明顯：
1）新引用更偏向經典論文，而不是引用較少的新論文;
2） 引用最多的論文在每年的引用排名中幾乎保持不變;
3） 一篇新論文最終成為最常引用論文的概率下降;
4） 新論文不會通過長時間的累積傳播進入最常引用行列;
5） 新論文延續現有科學思想的比例增加，顛覆性思想的比例減少;
6）具有足夠影響力的論文，出現的可能性降低。
至於為什麼會出現這種現象，作者認為在理論上可能存在兩方面因素，一是大量的新論文可能會剝奪專家和學者充分認識和理解一個新想法所需的時間和認知程度。 二是過多新想法之間的競爭也可能會妨礙學者們發現或者將注意力集中在一個更有前景的idea上。
隨著每年各學科領域科研成果數量的持續增長，這種影響會只增不減，且不可避免，除非採取政策措施重組科學生產的價值鏈，使大眾的注意力集中在有前途的、新穎的想法上。
實驗證明及分析
總結來看，在大多數學科領域中，高引用量的經典論文一直持續佔據主導地位，這導致新論文的引用幾率較低，並隨著時間的推移淹沒在了海量論文庫中。 此外，從內容上來講，最新發表的論文更傾向於擴展現有理論，而不是進行底層創新，很少有打破常規的新觀點被提出。 以下是241門細分學科和9000萬篇論文的實證結論：
一、在大多數學科中，引用最多的論文獲得了更高的引用份額。
如圖1（A），引用次數最多的論文在最大研究領域的基尼係數為0.5，相當於貧富差距最大的兩個國家的係數水準——只有中國和南非的基尼係數高於0.5。 重要的是，論文引用份額的嚴重失衡，導致研究方向出現明顯的「馬太效應」。。
圖1：不同學科論文引用量的動態變化過程
左圖（A）表明，當某個領域發表的論文越多，被引用最多的論文在新引用中所佔比例就會越大;右圖（B）表明，當某個領域發表的論文越多，高引用論文的排名就越穩定。
如電氣和電子工程領域，如果每年有10000篇論文出版，前0.1%的論文獲得1.5%的引用概率，前1%的論文獲得8.6%的引用;如果發表50000篇論文，前0.1%的論文獲得3.5%的引用，前1%的論文獲得11.9%的引用;如果發表10萬篇論文，前0.1%的論文獲得5.7%的引用，前1%的論文獲得16.7%的引文。 相比之下，隨著每年論文發表量的增多，50%低引用論文在新引用中所佔份額明顯下降，從每年10000篇論文 43.7%的引用次數佔比，下降到每年50000篇和100000篇論文佔比僅稍稍高於20%。
二、在範圍更大的學科領域，論文發表數量越多，引用最多的論文在高引排名中的波動越小。
如圖1（B）所示，在引用最多的前50篇論文中，論文發表的本年和下一年之間在排名上存在明顯的相關性。 而在隨後的幾年，如果預測前50名引用最多的論文的斯皮爾曼等級係數，該係數從一年1000篇論文的0.25，增加到了一年100000篇論文的0.74。 這是因為當研究範圍較大時，引用最多的論文每年都會保持其引用次數，而其他所有論文的引用次數都會減少。
圖2：引用衰減率
圖（A）表明儘管有大量新論文發表，引用最多的論文平均每年保持在高引用前列;圖（B-C）表明除引用最多的論文外，所有論文在該研究領域的引用次數均逐年減少。 圖（D）表明在所有學科領域，只有引用最多的論文每年保持高引用水準，其他所有論文平均每年的引用量都較少。
上圖顯示了在不同引用份額上論文本年與上一年引用的預測比率。 可以看出，在論文發表量少的年份，引用最多的論文比例明顯低於1，與引用較少的論文沒有太大區別。 然而，當論文發表量增加時，引用最多的論文比例接近1，明顯超過引用量較少的論文。 如果某領域一年發表100000篇新論文，引用最多的論文平均每年收到的引用數量不會出現明顯下降，但在年度引用最多的論文中，排名前1%的論文每年平均會損失約17%的引用次數，而排名前5%及以下的論文會損失四分之一的引用次數。
三、如果同年發表大量論文，其中一篇論文進入該領域最高引用0.1%的概率會明顯下降，且不同學科和各個年份都遵循這一規律。
圖3（A）表明，如果是小眾學科領域，論文會隨著時間的推移而慢慢上升到最常引用的前0.1%。 如圖3（B），1980年所有學科的線性回歸預測顯示，在1000篇新論文中，一篇論文達到該領域引用率最高的0.1%需要9年時間。
圖3：新論文進入高引用排名的可能性
圖（A）表明，一篇新在該學科領域進入最常引用0.1%的概率會隨著論文的增多而降低。 圖（B）表明如果同一年發表大量論文，其中一篇並不會隨著時間而逐漸積累到最常引用0.1%的範圍內。
相比之下，如果是主流學科領域，一篇新論文會迅速躍升到排名清單的頂端。 如圖3（B）的回歸預測，在100000篇新論文中，一篇進入前0.1%的中位數只需要不到一年的時間。
四、同年發表的論文大多建立在現有文獻的基礎上，而不是突破現有文獻。
圖4（A）表明，當某個學科領域每年發表1000篇論文時，顛覆性的創新論文佔比49%;當每年發表10000篇論文時，該比例下降至27%;每年發表100000篇論文時，進一步下降到13%。 即使當D>0時，新發表論文的創新性也會在更廣泛的研究領域內被減弱。
圖4：學術創新傾向圖
圖（A）表明多年來各個學科發表的新論文傾向於擴展現有的理論，而不是引入顛覆性的創新觀點（藍色代表D>0;紅色代表D<0）。 圖（B）表明在各個學科中，同一年發表的大量論文普遍不太可能具有高度的創新性（D≥ 0.0256）.
研究人員注意到，「場大小」所帶來的影響明顯超過了時間維度的影響。 隨著一個科學研究領域的擴展，資深學者的引用模式會發生明顯變化。 即使是久負盛名、經驗豐富的學者，在許多新論文發表時也會更多地引用經典文章。
如何打破「論文泛濫」的局面？
這項研究發現讓我們不得不面對一個現實：如在短時間內發表太多的論文，新的idea很可能淹沒在傳統觀念中，科學發現的過程也就無法選擇更有價值的創新。 更諷刺的是，當今科學事業的”數量驅動”性質可能從根本上阻礙科學的進步，而訪問許可權，期刊的激增和刊物體系的失衡又會加劇這一現象。
那麼我們可以減少論文發表的數量嗎？ 答案顯然不可能。
我們不可能能禁止出版、關閉期刊、限制科研機構，或者減少科學家的數量。 對於科學家而言，即使他們知道大量「無用」論文可能會對學科發展產生影響，但考慮到個人的職業發展和學生的學術前景，他們也不會主動減少科研”數量”。 而如果採取強制措施，無疑又可能增加破壞科研氛圍、阻礙科研創新的風險。
作者認為，如果不從根本上改變激勵政策和評估準則，這種現象只會持續惡化。 他在文章中提出了幾點改進措施，並表示雖然政策很難落實和推進，但它能夠引導科研人員從經典研究走向更新穎的前沿領域。
- 構建更清晰的期刊等級體系，通過最具影響力的出版機構，引導科研人員從常規工作轉向學術創新。
- 調整科研機構和企業的獎勵和晉陞制度，避免數量的權衡，提升品質、創新性貢獻等指標的重要性。
- 在研究生培養、科研能力評估、科研經費申請方面制定新的考核標準，激勵科研人員擺脫既定教條，提出新奇的idea。
雖然各個學科引用最多的論文在每年的高引排名中基本保持不變，但我們很難說學科發展就因此而停滯不前。 不過現有證據表明，每年生產大量”無用”的科學成果耗費了昂貴的人力成本的資金，生產率也正在急劇下降。 而更重要的是，我們是否可能因為沉浸在泛濫的論文中而錯過更豐富的新範式？
論文位址：