Meta發布LLM編譯器稱將改變我們的程式設計方式
Meta發布了Meta 大型語言模型(LLM)編譯器,這是一套強大的開源模型,旨在優化程式碼並徹底改變編譯器設計。這項創新有望改變開發人員優化程式碼的方式,使程式碼優化更快、更有效率、更具成本效益。
在將大型語言模型應用於程式碼和編譯器最佳化方面,LLM 編譯器背後的研究人員解決了一個尚未充分探索的重大空白。透過在包含5,460 億個LLVM-IR和彙編程式碼的海量語料庫上訓練模型,他們使模型能夠理解編譯器中間表示、組合語言和最佳化技術。
研究人員在論文中解釋說:”LLM 編譯器增強了對編譯器中間表徵(IR)、彙編語言和優化技術的理解。這種增強的理解能力使該模型能夠執行以前由人類專家或專用工具完成的任務。
LLM 編譯器在程式碼大小最佳化方面取得了顯著成果。在測試中,此模型的最佳化潛力達到了自動調整搜尋的77%,這項結果可以顯著縮短編譯時間,提高各種應用的程式碼效率。
事實證明,該模型的反彙編能力更令人印象深刻。在將x86_64 和ARM 彙編轉換回LLVM-IR 時,LLM 編譯器顯示了45% 的往返反彙編成功率(14% 精確匹配)。這種能力對於逆向工程任務和遺留程式碼維護來說非常寶貴。
了解更多:
https://huggingface.co/collections/facebook/llm-compiler-667c5b05557fe99a9edd25cb
該計畫的核心貢獻者之一克里斯-卡明斯(Chris Cummins)強調了這項技術的潛在影響:他說:「透過提供兩種規模(70 億個參數和130 億個參數)的預訓練模型,並透過微調版本展示其有效性,LLM 編譯器為探索LLM 在程式碼和編譯器最佳化領域尚未開發的潛力鋪平了道路。
這項技術的影響深遠而廣泛。軟體開發人員可以受益於更快的編譯時間、更有效率的程式碼以及用於理解和優化複雜系統的新工具。研究人員獲得了探索人工智慧驅動的編譯器優化的新途徑,有可能在軟體開發方法上實現突破。
特別值得一提的是,Meta 決定以授權商業授權的方式發布LLM 編譯器。此舉使學術研究人員和產業從業人員都能利用和改造這項技術,從而有可能加速該領域的創新。
然而,如此強大的人工智慧模型的發布也引發了人們對軟體開發不斷變化的格局的質疑。隨著人工智慧處理複雜程式設計任務的能力越來越強,它可能會重塑未來軟體工程師和編譯器設計師所需的技能。
LLM 編譯器代表的不僅僅是一種漸進式改進,而是我們在處理編譯器技術和程式碼最佳化方面的根本性轉變。透過這個版本,Meta 向學術界和工業界提出了挑戰,以推動人工智慧輔助編程的發展。
隨著人工智慧驅動的程式碼優化領域的不斷發展,全球開發人員和研究人員如何採用、調整和改進這項開創性技術,將是一個引人入勝的話題。