大模型增速遠超摩爾定律MIT最新研究：人類快要餵不飽AI了
近日，來自MIT FutureTech的研究人員發表了一項關於大模型能力增長速度的研究，結果顯示：LLM的能力大約每8個月就會翻一倍，速度遠超摩爾定律！我們人類可能要養不起AI了！
論文網址：https://arxiv.org/pdf/2403.05812.pdf
LLM的能力提升大部分來自於算力，而摩爾定律代表硬體算力的發展，
——也就是說，隨著時間的推移，終有一天我們將無法滿足LLM所需的算力！
如果那時候AI有了意識，不知道會不會自己想辦法找飯吃？
上圖表示不同領域的演算法改進對有效計算翻倍的估計。藍點表示中心估計值或範圍； 藍色三角形對應於不同大小（範圍從1K到1B）的問題的倍增時間； 紫色虛線對應於摩爾定律表示的2年倍增時間。
摩爾定律和比爾蓋茨
摩爾定律（Moore’s law）是一種經驗或觀察結果，表示積體電路（IC）中的電晶體數量大約每兩年翻一番。
1965年，仙童半導體（Fairchild Semiconductor）和英特爾的共同創辦人Gordon Moore假設積體電路的組件數量每年翻一番，並預測這種成長率將至少再持續十年。
1975年，展望下一個十年，他將預報修改為每兩年翻一番，複合年增長率（CAGR）為41%。
雖然Moore沒有使用經驗證據來預測歷史趨勢將繼續下去，但他的預測自1975年以來一直成立，所以也就成了「定律」。
因為摩爾定律被半導體產業用來指導長期規劃和設定研發目標，所以在某種程度上，成了一種自我實現預言。
數位電子技術的進步，例如微處理器價格的降低、記憶體容量（RAM 和快閃記憶體）的增加、感測器的改進，甚至數位相機中像素的數量和大小，都與摩爾定律密切相關。
數位電子的這些持續變化一直是技術和社會變革、生產力和經濟成長的驅動力。
不過光靠自我激勵肯定是不行的，雖然業界專家沒法對摩爾定律能持續多久達成共識，但根據微處理器架構師的報告，自2010年左右以來，整個產業的半導體發展速度已經放緩，略低於摩爾定律預測的速度。
下面是維基百科給出的電晶體數量成長趨勢圖：
到了2022年9月，英偉達執行長黃仁勳直言“摩爾定律已死”，不過英特爾執行長Pat Gelsinger則表示不同意。
從下圖我們可以看出，英特爾還在努力用各種技術和方法為自己老祖宗提出的定律續命，並表示，問題不大，你看我們還是直線沒有彎。
Andy and Bill’s Law
關於算力的成長，有一句話是這樣說的：「安迪給的，比爾都拿走（What Andy giveth, Bill taketh away）」。
這反映了當時的英特爾執行長Andy Grove每次向市場推出新晶片時，微軟的CEO比爾蓋茲（Bill Gates）都會透過升級軟體來吃掉晶片提升的效能。
——而以後吃掉晶片算力的就是大模型了，根據MIT的這項研究，大模型以後根本吃不飽。
研究方法
如何定義LLM的能力提升？首先，研究者對模型的能力進行了量化。
基本的想法就是：如果一種演算法或架構在基準測試中以一半的計算量獲得相同的結果，那麼就可以說，它比另一種演算法或架構好兩倍。
有了比賽規則之後，研究人員招募了200多個語言模型來參加比賽，同時為了確保公平公正，比賽所使用的數據集是WikiText-103和WikiText-2以及Penn Treebank，代表了多年來用於評估語言模型的高品質文字資料。
專注於語言模型開發過程中使用的既定基準，為比較新舊模型提供了連續性。
需要注意的是，這裡只量化了預訓練模型的能力，沒有考慮一些「訓練後增強」手段，例如思維鏈提示（COT）、微調技術的改進或整合搜尋的方法（RAG）。
模型定義
研究人員透過擬合一個滿足兩個關鍵目標的模型來評估其表現水準：
（1）模型必須與先前關於神經標度定律的工作大致一致；
（2）模型應允許分解提高性能的主要因素，例如提高模型中數據或自由參數的使用效率。
這裡採用的核心方法類似於先前提出的縮放定律，將Dense Transformer的訓練損失L與其參數N的數量和訓練資料集大小D相關聯：
其中L是資料集上每個token的交叉熵損失，E、A、B、α和β是常數。E表示資料集的“不可減少損失”，而第二項和第三項分別代表由於模型或資料集的有限性而導致的錯誤。
因為隨著時間的推移，實現相同效能等級所需的資源（N 和D）會減少。為了衡量這一點，作者在模型中引入了「有效數據」和「有效模型大小」的概念：
其中的Y表示年份，前面的係數表示進展率，代入上面的縮放定律，可以得到：
透過這個公式，就可以估計隨著時間的推移，實現相同效能水準所需的更少資源（N和D）的速度。
數據集
參與評測的包含400多個在WikiText-103（WT103）、WikiText-2（WT2）和Penn Treebank（PTB）上評估的語言模型，其中約60%可用於分析。
研究人員首先從大約200篇不同的論文中檢索了相關的評估訊息，又額外使用框架執行了25個模型的評估。
然後，考慮資料的子集，其中包含擬合模型結構所需的資訊：token級測試困惑度（決定交叉熵損失）、發布日期、模型參數數量和訓練資料集大小，最終篩選出231個模型供分析。
這231個語言模型，跨越了超過8個數量級的計算，上圖中的每個形狀代表一個模型。
形狀的大小與訓練期間使用的計算成正比，困惑度評估來自於現有文獻以及作者自己的評估測試。
在某些情況下，會從同一篇論文中檢索到多個模型，為了避免自相關帶來的問題，這裡每篇論文最多只選擇三個模型。
實證結果
根據縮放定律，以及作者引入的有效數據、有效參數和有效計算的定義來進行評估，結果顯示：有效計算的中位數倍增時間為8.4個月，95%置信區間為4.5至14.3個月。
上圖表示透過交叉驗證選擇的模型的演算法進度估計值。圖a顯示了倍增時間的總估計值，圖b顯示了從左到右按交叉驗證效能遞減（MSE測試損耗增加）排序。
上圖比較了2016年至2020年前後的演算法有效計算的估計倍增時間。相對於前期，後期的倍增時間較短，顯示在該截止年之後演算法進步速度加快。
參考資料：