新AI演算法可望將運算功耗降低95% 但需要重新設計硬體
隨著越來越多的公司加入發展人工智慧的行列,但運行人工智慧模式的能耗正成為一個亟待解決的問題。 雖然NVIDIA、微軟和OpenAI 等知名企業對這種情況輕描淡寫,但有一家公司聲稱自己已經找到了解決方案。
BitEnergy AI 公司的研究人員已經開發了一種技術,可以在不犧牲太多準確性和速度的情況下大幅降低人工智慧的能耗,該研究稱,該方法可將能耗降低95%。 研究小組將此突破稱為”線性複雜度乘法”(Linear-Complexity Multiplication),簡稱L-Mul。 計算過程使用整數加法,在人工智慧相關任務中,整數加法比浮點乘法所需的能量和步驟少得多。
在處理非常大或非常小的數字時,浮點數在人工智慧計算中被廣泛使用。 這些數字就像是二進位形式的科學記數法,可以讓人工智慧系統精確地執行複雜的計算,然而,這種精確性是有代價的。
人工智慧熱潮對能源的需求不斷增長,已經達到了令人擔憂的程度,一些模型需要大量電力。 例如,ChatGPT 的用電量相當於18,000 個美國家庭(每天564 兆瓦時)。 劍橋另類金融中心的分析師估計,到2027 年,人工智慧產業每年的耗電量可能在85 到134 太瓦時之間。
L-Mul 演算法透過較簡單的整數加法來近似複雜的浮點乘法,解決了這種過度浪費能源的問題。 在測試中,人工智慧模型在保持精確度的同時,將張量乘法的能耗降低了95%,將點乘法的能耗降低了80%。
L-Mul 技術還能按比例提高效能。 該演算法超越了目前的8 位元計算標準,以更少的位元級計算實現了更高的精度。 涵蓋自然語言處理和機器視覺等各種人工智慧任務的測試表明,性能只降低了0.07%——如果考慮到節能因素,這只是很小的代價。
基於變壓器的模型(如GPT)可以從L-Mul 中獲益最多,因為演算法可以無縫整合到注意力機制中,而注意力機制是這些系統中關鍵但能耗密集的組件。 對Llama 和Mistral 等流行人工智慧模型的測試甚至顯示,某些任務的準確性有所提高。 不過,有好消息也有壞消息。
壞消息是,L-Mul 目前需要專門的硬體。 目前的人工智慧處理還沒有經過優化,無法利用這項技術。 好消息是,開發專用硬體和程式設計應用程式介面的計畫正在進行中,這將為在合理的時間內實現更節能的人工智慧鋪平道路。
唯一的障礙是一些公司,特別是英偉達(NVIDIA),阻礙了採用人工智慧的努力,而這確實是有可能發生的。 這家GPU 製造商以人工智慧應用的首選硬體開發商而聲名鵲起。 當它佔據了市場的絕大部分份額時,它是否會向更節能的硬體舉雙手贊成是值得懷疑的。
對於那些追求複雜數學解決方案的人來說,研究的預印本已發佈在羅格斯大學的”arXiv”圖書館上。