Skip to content
WONGCW 網誌
  • 首頁
  • 論壇
  • 微博
  • 壁紙下載
  • 免費圖床
  • 視頻下載
  • 聊天室
  • SEO工具
  • 支援中心
  • 表格製作
  • More
    • 在線名片
    • 網頁搜索
    • 天氣預報
    • 二維碼生成器
  • Search Icon

WONGCW 網誌

記錄生活經驗與點滴

1.5T記憶體挑戰英偉達8顆晶片撐起3個GPT-4:華人AI晶片獨角獸估值365億

1.5T記憶體挑戰英偉達8顆晶片撐起3個GPT-4:華人AI晶片獨角獸估值365億

2023-09-22 Comments 0 Comment

高階GPU持續缺貨之下,一家要挑戰英偉達的晶片新創公司成為業界熱議焦點。8枚晶片跑大模型,就能支援5兆參數(GPT-4的三倍) 。這是獨角獸企業SambaNova剛剛發布的新型AI晶片SN40L——型號中40代表是他們第四代產品,L代表專為大模型(LLM)優化:高達1.5T的內存,支援25.6萬個token的序列長度。

CEO Rodrigo Liang表示,目前業界標準做法下運行萬億參數大模型需要數百枚晶片,我們的方法使總擁有成本只有標準方法的1/25。

SambaNova目前估值50億美元(約365億人民幣),累計完成了6輪總計11億美元的融資,投資者包括英特爾、軟銀、三星、GV等。

他們不僅在晶片上要挑戰英偉達,業務模式上也說要比英偉達走的更遠:直接參與幫助企業訓練私有大模型。

目標客戶上野心更是很大:瞄準世界上最大的2000家企業。

1.5TB記憶體的AI晶片

最新產品SN40L,由台積電5奈米製程製造,包含1020億晶體管,峰值速度638TeraFLOPS。

與英偉達等其他AI晶片更大的不同在於新的三層Dataflow記憶體系統。

520MB片上SRAM內存

65GB的高頻寬HBM3內存

以及高達1.5TB的外部DRAM內存

與主要競品相比,英偉達H100最高擁有80GB HBM3內存,AMD MI300擁有192GB HBM3內存。

SN40L的高頻寬HBM3記憶體實際上比前兩者小,更依賴大容量DRAM。

Rodrigo Liang表示,雖然DRAM速度較慢,但專用的軟體編譯器可以智慧地分配三個記憶體層之間的負載,也允許編譯器將8個晶片視為單一系統。

除了硬體指標,SN40L針對大模型所做的最佳化還有同時提供密集和稀疏計算加速。

他們認為大模型中許多權重設定為0,像其他資料一樣去執行操作很浪費。

他們找到一種軟體層面的加速辦法,與調度和數據傳輸有關,但沒有透露細節,「我們還沒準備好向公佈是如何做到這一點的」。

諮詢機構Gartner的分析師Chirag Dekate認為,SN40L的一個可能優勢在於多模態AI。

GPU的架構非常嚴格,面對影像、影片、文字等多元資料時可能不夠靈活,而SambaNova可以調整硬體來滿足工作負載的要求。

目前,SambaNova的晶片和系統已獲得不少大型客戶,包括世界排名前列的超算實驗室,日本富嶽、美國阿貢國家實驗室、勞倫斯國家實驗室,以及諮詢公司埃森哲等。

商業模式也比較特別,晶片不單賣,而是出售其客製化技術堆疊,從晶片到伺服器系統,甚至包括部署大模型。

為此,他們與TogetherML共同開發了BloomChat,這是一個1760億參數的多語言聊天大模型。

BloomChat建立在BigScience組織的開源大模型Bloom之上,並在來自OpenChatKit、Dolly 2.0和OASST1的OIG上進行了微調。

訓練過程中,它使用了SambaNova獨特的可重配置資料流架構,然後在SambaNova DataScale系統進行訓練。

這也是這家公司最大被投資人熱捧之外的最大爭議點之一,很多人不看好一家公司既做晶片又做大模型。

給每家大企業打造150個大模型

在與The Next Platform網站交流時,CEO Rodrigo Liang表示:

用於大模型訓練的公開資料已快耗盡,但對參數數量的追求仍在增加。

各種大模型的效能相差只有幾個百分點,這不是大家該玩的遊戲。

他認為大模型與生成式AI商業化的下一個戰場是企業的私有數據,尤其是大企業。

這些企業坐擁大量的數據,但他們不知道其中大部分是什麼。

對於企業私有大模型的型態,SambaNova也有與眾不同的看法。

他們認為最終企業內部不會運行像GPT-4或像GoogleGemini那樣的超大模型,而是根據不同資料子集創建150個獨特的模型,聚合參數超過萬億。

相當於把GPT-4等大模型內部的Mixture of Experts(專家混合)架構擴展到整個系統,稱為Composition of Experts(專家合成)。

在企業運作的每個節點運行一個完整且經過專門調整的基礎模型,分別用法律語料庫、製造語料庫、風險管理語料庫、財富管理語料庫、客戶銷售語料庫、客戶支援語料庫等等不同資料訓練。

這些專家模型之間透過一種軟體路由或負載平衡器聯在一起,收到推理請求後決定具體向哪個模型推送提示詞。

這項策略與GPT-4和GoogleGemini等做法形成鮮明對比,巨頭大多希望創造一個能泛化到數百萬個任務的巨型模型。

分析師認為技術上可能谷歌的做法性能更強,但SambaNova的方法對企業來說更實用。

沒有任何一個模型或人能完整存取企業的所有數據,限制每個部門能存取的專家模型,就能限制他們所能存取的數據。

史丹佛系晶片公司,華人工程師主力

SambaNova成立於2017年,2020年之前都比較低調。

聯創3人都是史丹佛背景,連產品系列名Cardinal(深紅色)都是史丹佛的暱稱與代表顏色。

CEO Rodrigo Liang是前Sun/甲骨文工程副總裁,也有人將這個名字解讀為暗指甲骨文老對頭IBM的DeepBlue(深藍)。

另外兩位共同創辦人都是史丹佛教授。

CTO Kunle Olukotun是電機工程教授,因多核心晶片架構方面的研究而聞名,開發了首批支援線程級推測(TLS) 的晶片之一。

Christopher Ré是電腦科學副教授,專注於方向機器學習和資料分析的速度和可擴展性。

此外團隊中還有不少華人工程師。

從官網公開資訊來看,SambaNova的領導團隊中,至少有3名華人。

Jonathan Chang,擁有UC柏克萊的機械工程學士學位以及南加州大學的MBA學位。

他在建構高成長方面擁有20多年的經驗。在加入SambaNova之前,Chang在特斯拉工作了近9年。

Marshall Choy,先前曾擔任甲骨文公司係統產品管理和解決方案開發副總裁,監督了數十個行業的企業硬體和軟體產品的上市。

Penny Li,在EDA工具和微處理器設計方面擁有超過27年的經驗。此前,她曾在IBM和甲骨文工作。

如果去領英搜尋還能發現更多華人團隊成員。

目前SambaNova包含SN40L晶片的人工智慧引擎已上市,但定價並未公開。

根據Rodrigo Liang的說法,由8個SN40L組成的群集總共可處理5兆參數,相當於70個700億參數大模型。

全球2000強的企業只需購買兩個這樣的8晶片集群,就能滿足所有大模型需求。

參考連結:

[1]https://spectrum.ieee.org/ai-chip-sambanova

[2]https://www.nextplatform.com/2023/09/20/sambanova-tackles-generative-ai-with-new-chip-and-new-approach/

[3]https://sambanova.ai/resources/

分享此文:

  • 按一下即可分享至 X(在新視窗中開啟) X
  • 按一下以分享至 Facebook(在新視窗中開啟) Facebook
  • 分享到 WhatsApp(在新視窗中開啟) WhatsApp
  • 按一下以分享到 Telegram(在新視窗中開啟) Telegram
  • 分享到 Pinterest(在新視窗中開啟) Pinterest
  • 分享到 Reddit(在新視窗中開啟) Reddit
  • 按一下即可以電子郵件傳送連結給朋友(在新視窗中開啟) 電子郵件
  • 點這裡列印(在新視窗中開啟) 列印

相關


網絡資訊

Post navigation

PREVIOUS
滿油滿電能跑1400公里榮威D7量產下線
NEXT
2隻灰熊一路跟著20分鐘健行者嚇到腿軟:遇到熊能逃脫嗎?

發表迴響取消回覆

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

More results...

Generic filters
Exact matches only
Search in title
Search in content
Search in excerpt
Filter by 分類
網站公告
Featured
限時免費
Windows 軟件下載
系統軟件
辦公軟件
圖像處理
影音媒體
網絡軟件
應用軟件
Mac 軟件下載
安卓軟件下載
網絡資訊
Mac資訊
Linux資訊
VPS資訊
NASA資訊
WordPress資訊
WeChat資訊
PHP資訊
教學資源
開源程序
網頁工具
SEO工具
醫療健康
其他資訊
Content from
Content to
2023 年 9 月
一 二 三 四 五 六 日
 123
45678910
11121314151617
18192021222324
252627282930  
« 8 月   10 月 »

分類

  • 網站公告
  • 限時免費
  • Windows 軟件下載
  • 系統軟件
  • 辦公軟件
  • 圖像處理
  • 影音媒體
  • 網絡軟件
  • 應用軟件
  • Mac 軟件下載
  • 安卓軟件下載
  • 網絡資訊
  • Mac資訊
  • Linux資訊
  • VPS資訊
  • NASA資訊
  • WordPress資訊
  • WeChat資訊
  • PHP資訊
  • 教學資源
  • 開源程序
  • 網頁工具
  • SEO工具
  • 醫療健康
  • 其他資訊

彙整

近期文章

  • 微軟裁員風暴:軟體工程崗位成重災區AI搶走程式設計師飯碗? 2025-05-15
  • 星巴克據悉已啟動出售龐大中國業務部分股份的進程 2025-05-15
  • 資料外洩後Valve向Steam用戶保證其係統沒有被入侵 2025-05-15
  • 小米盒子5系列今日開賣:299元起支援4K 2025-05-15
  • 假期3天不調休端午假期火車票即將開售 2025-05-15
  • 網友在馬耳他偶遇劉強東夫婦打扮顯眼被認出 2025-05-15
  • 智慧仿生魚已投入長江保護:模仿魚類遊動進行生態資料採集 2025-05-15
  • 華為折疊PC將在5月19日正式發布 2025-05-15
  • 小鵬全新純電轎跑官宣:還叫P7 2025-05-15
  • DeepMind放出新AI大招:竟能自我糾錯但有致命弱點 2025-05-15

熱門文章與頁面︰

  • 您可以在Windows 11 24H2 中找回WordPad
  • 76%美國汽車高層認為中國電動車登陸美國是遲早的事
  • NVIDIA對川普的迎合促成了AI技術擴散限制的逆轉以及對華為的進一步壓制
  • 黃仁勳將出席台北電腦展成焦點更多AI合作曝光
  • Waymo透露第六代無人駕駛計程車細節:成本更低、功能更強
  • 英偉達CEO黃仁勳:不會使用人工智慧的人將失業
  • 新《超級瑪利歐兄弟》動畫電影定名《超級瑪利歐世界》
  • PS5可能會再次漲價索尼考慮讓其在美生產
  • 波音斬獲公司史上最大單筆訂單卡達航空訂至少160架飛機
  • 假期3天不調休端午假期火車票即將開售

投遞稿件

歡迎各界人士投遞稿件到admin@wongcw.com

請提供以下資料:

1.你的名字

2.你的電郵

3.分類目錄

4.文章標題

5.文章摘要

6.文章內容

7.文章來源

 

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

快帆

MALUS

極度掃描

DMCA.com Protection Status

WONGCW 網誌

  • 免責聲明
  • 捐助我們
  • ThemeNcode PDF Viewer
  • ThemeNcode PDF Viewer SC
  • Events

服務器提供

本站使用之服務器由ikoula提供。

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

© 2025   All Rights Reserved.