Arm與合作夥伴開發AI CPU:基於2奈米三星GAA FET的Neoverse V3 CSS
昨天,Arm 宣布其”全面設計”計劃取得重大進展。 該計劃於一年前啟動,旨在透過促進行業合作夥伴之間的合作,加快資料中心客製化晶片的開發。 該生態系統現已發展到包括近30 家參與公司,最近又增加了Alcor Micro、Egis、PUF Security 和SEMIFIVE 等公司。
一個值得注意的進展是,Arm、三星代工廠、ADTechnology 和Rebellions 合作創建了一個人工智慧CPU 晶片平台。 這項合作旨在為雲端、HPC 和AI/ML 工作負載提供解決方案,將Rebellions 的AI 加速器與ADTechnology 的計算晶片結合起來,採用三星代工廠的2 nm Gate-All-Around (GAA) FET 技術實現。
該平台可望為生成式人工智慧工作負載帶來顯著的效率提升,據估計,對於像Llama3.1這樣擁有4050億個參數的LLM,其效率將比標準CPU設計提高2-3倍。
Arm的方法強調了CPU運算在支援完整人工智慧堆疊方面的重要性,包括資料預處理、協調和檢索增強生成(RAG)等先進技術。 公司的計算子系統(CSS)旨在滿足這些要求,為合作夥伴建立多樣化的晶片組解決方案奠定基礎。
包括Alcor Micro 和Alphawave 在內的幾家公司已經宣布了為各種人工智慧和高效能運算應用開發由CSS 驅動的晶片的計劃。 該計劃還關注軟體就緒情況,確保主要框架和作業系統與基於Arm 的系統相容。 最近的努力包括引入Arm Kleidi 技術,可為PyTorch 和Llama.cpp 等開源專案優化基於CPU 的推理。
值得注意的是,如Google所稱,大多數人工智慧工作負載都是在CPU 上進行推理的,因此為人工智慧打造最高效、效能最好的CPU 非常有意義。