NVIDIA、AMD和Intel三強罕見聯手投資一家光晶片公司
近年來,隨著AI競爭愈演愈烈,無論是傳統還是新興的處理器巨頭都在圍繞CPU、GPU和AI加速器展開了激烈競爭。尤其是AMD、Intel和英偉達三大標誌性巨頭,由於三者的競爭包含後來者的追趕逆襲、新市場的來勢洶洶、老巨頭的不甘人後等情節,使得這三個巨頭的任何動向尤為關注。這三家公司圍繞著人工智慧和PC展開明爭暗鬥也是眾所周知。
但近日,這三家公司罕見地聯手,投資了一家名為Ayar Labs的光晶片新創公司。
三大晶片巨頭,看上光互連
Ayar Labs今天宣布,已獲得由Advent Global Opportunities 和Light Street Capital 領投的1.55 億美元融資,旨在利用其光學I/O 技術打破AI 數據移動瓶頸。這使該公司的總融資額達到3.7 億美元,並將公司估值提高至10 億美元以上。
正如Ayar Labs所說,本輪融資的規模和投資者的品質標誌著Ayar Labs 的另一個重要里程碑,該公司正在準備其光學解決方案,以策略性地配合客戶路線圖進行大量生產。該公司表示,參與本輪融資的知名公司就涵括了目前最炙手可熱的晶片三大巨頭AMD Ventures、Intel Capital 和NVIDIA ,其他新策略和金融投資者包括3M Ventures 和Autopilot。值得一提的是,在之前,Ayar Labs也拿了包括Applied Ventures LLC、Axial Partners、Boardman Bay Capital Management、GlobalFoundries、IAG Capital Partners、Lockheed Martin Ventures、Playground Global 和VentureTech Alliance的錢。
Ayar Labs 執行長兼聯合創辦人Mark Wade 表示:「領先的GPU 供應商AMD 和NVIDIA 以及半導體代工廠GlobalFoundries、Intel Foundry 和TSMC,再加上Advent、Light Street 和我們其他投資者的支持,凸顯了我們的光學I/O 技術重新定義AI 基礎設施未來的潛力。強大的私募和成長股權背景為我們提供了支持。
根據相關資料顯示,Ayar Labs成立於2015 年,公司團隊由來自英特爾、IBM、美光、Penguin、麻省理工學院、柏克萊和史丹佛的許多頂尖技術專家組成。
在官網的介紹中,Ayar Labs將公司定位為光學互連解決方案領域的領導者,其提供的產品資料傳輸速度與AI 相當。公司表示,在意識到AI 模型的複雜性和規模正在以傳統互連技術無法處理的速度增長,他們開發了業界首個光學I/O 解決方案,使客戶能夠最大限度地提高不斷增長的AI 基礎設施的運算效率和效能,同時降低成本、延遲和功耗。 Ayar Labs指出,該公司的光學I/O 解決方案基於開放標準,並針對AI 訓練和推理進行了優化,擁有強大的生態系統,使其能夠順利大規模整合到AI 系統中。
如上圖所示,Ayar Labs 表示,公司故事的起源可以追溯到公司在2010年的發布的一篇名為《Open foundry platform for high-performance electronic-photonic integration》的論文。據介紹,該文章論述採用當時商用電子45 nm SOI-CMOS 代工製程所製造的具有3 dB/cm 波導損耗的光子元件。透過利用現有的前端製造工藝,光子裝置與電子裝置單片整合在與電晶體相同的實體裝置層中,實現4 ps 邏輯級延遲,而不會降低電晶體性能。
在文章中,他們展示了一個8 通道光學微環諧振器濾波器組和光調製器,它們都由集成數位電路控制。透過開發一種不需要任何製程基礎設施變更的裝置設計方法,可以實現廣泛可用的高性能光子電子積體電路平台。
在文章的論述階段他們強調,論戰展示的電子-光子平台是一種可訪問的、低成本的利用現有電子代工廠基礎設施的方法,可用於製造高性能光子器件和最先進的CMOS 電晶體。使用薄SOI-CMOS 製程無需進行代工廠內部改動,只需進行簡單的後處理即可實現良好的被動光子性能,消除了先前工作中存在的波導損耗瓶頸。文章介紹的濾波器組解復用器和調製器等設備,以及目前正在開發的整合式光電探測器,構成了先進電子製程中光子互連平台的基礎,該工藝可用於製造當今的微處理器。此代工平台的通用性質使我們可以使用最先進的技術,這將極大地促進整個VLSI 和光子系統及應用領域的新型電光片上系統的研究。
正是基於這個研究,Ayar Labs在2015年宣告成立,然後在隔年獲得了種子輪投資(GlobalFoundries 參與了種子輪融資)。
Ayar Labs,聚焦解決的問題
在具體介紹Ayar Labs的產品之前,我們先介紹一下他們具體想解決什麼問題。
正如之前很多報道中所說,高效能運算引擎存在頻寬和訊號問題,這已經不是什麼秘密了。如果你想要以合理的每秒容量快速地將資料輸入和輸出,從而讓引擎中的數十到數萬個核心保持忙碌,那麼如果你要堅持使用銅線,就必須盡可能緊密地連接它們,無論是插入堆疊記憶體的插入器上的走線,還是進出SerDes 的電線,以將計算引擎連接在一起以並行運行。
問題在於電線的長度過長。每次將頻寬增加一倍時,由於訊號失真,您都必須將電線長度減半。這是物理學和材料科學的問題,每個人都知道最終銅線將被光纖取代。而且由於人工智慧工作負載對頻寬的巨大需求,未來幾年內這似乎將真正成為不可避免的趨勢。
Ayar Labs也正是這樣的「光」參與者,致力於打破過去的資料傳輸模式。
據了解,他們的目標是將光通訊直接置於封裝上,而不是受到IO 密度問題、資料速率擴展和電子封裝到封裝互連的功率低效性限制。 Ayar Labs 的主要觀點是,在1cm 到10cm 的傳輸範圍內,光學IO 比目前的電子系統更有效率。解決資料傳輸功率膨脹問題的最佳方法是,只要您將資料傳輸到此距離以外,請切換到光學。
知名產業分析機構semianalysis表示,轉向共封裝光學元件有許多好處。例如資料不需要從處理器傳送到網路卡,也不需要通過昂貴的光收發器。處理器本身也可以節省大量成本,因為不必將太多的晶片面積專用於大型高速電氣SerDes。
鑑於Ayar Labs 已加入開放的UCIe 標準,Semianalysis認為他們的晶片將使用該協定作為與外部公司晶片介面的基礎層。 UCIe 支援英特爾、ASE 和台積電的許多封裝選項。在處理器方面,英特爾、AMD、博通、美光、聯發科和GUC 都是該聯盟的成員。 UCIe 大大降低了將第三方晶片整合到封裝中的進入門檻,這反過來應該會降低Ayar Labs 獲得設計勝利的進入門檻。此外,Ayar Labs 也明確支援高密度扇出、英特爾的EMIB 和其他矽中介層技術。
目前,Ayar Labs有兩種主要的產品:一是SuperNova 光源——這是封裝外部的遠端光源,可以將其視為位於ASIC 封裝外部某處的光電源;另一個是TeraPHY 光學I/O 晶片,這種矽片包含約7,000 萬個電晶體和10,000 多個光學元件。據介紹,他們將矽光子裝置整合到CMOS 製程中,製成我們作為晶片出售的矽片。該晶片整合到客戶SOC 封裝中。
從官網可以看到,SuperNova遠端光源是Ayar Labs 光學I/O 解決方案的支柱,也是業界首款符合CW-WDM MSA 標準的16 波長光源,可提供多達16 種波長的光並為多達16個連接埠供電。與Ayar Labs TeraPHY 光學I/O 晶片組結合,與傳統互連(可插拔光學元件+ 電氣SerDes)相比,此解決方案可提供5 至10 倍的更高頻寬、10 倍的更低延遲和4 至8 倍的更高能效。光學I/O 消除了I/O 瓶頸,超越了製程限制,並為下一代AI 架構釋放了創新架構。
TeraPHY光學I/O 晶片組則是一種體積小、功耗低、吞吐量高的銅背板和可插拔光學通訊替代方案。 TeraPHY 晶片組的模組化多埠設計可承載八個光通道(相當於x8 PCIe Gen5 連結)。這款業界首創的光學I/O 晶片組將矽光子學與標準CMOS 製造流程結合。它適用於現有的系統級封裝架構,不需要SoC 自訂。
依照該公司CEO Mark Wade所說,Ayar Labs目前的主要商業模式是銷售實際產品。他表示,SOC領域已經發生了整個範式轉變,以推動chiplet 的採用。如果你打開ASIC 的蓋子,你會看到裡面有多個晶片。於是,Ayar Labs將所謂的「KGD」光學晶片裝入客戶的封裝中銷售。來到光學I/O 晶片方面,Ayar Labs將其作為創收產品銷售,客戶只需直接向我們購買晶片即可。
Wade強調,Ayar Labs的市場策略專注於解決光子學領域的大批量、高品質製造問題。我們與GlobalFoundries、Applied Materials、英特爾和台積電等主要公司建立了策略合作關係,並與所有第一線CMOS 製造商展開合作。
Ayar Labs也與大型AI 系統領域的領導者NVIDIA 建立了策略合作夥伴關係,共同將我們的技術融入未來的AI 系統。該公司的直接客戶正在建構SOC 和SOC 系統,其一流生態系統包括NVIDIA、AMD、英特爾、博通和高通等公司。
「建構大規模AI 模型的終端客戶(例如Anthropic 和OpenAI)至關重要。資料中心在嘗試擴展AI 工作負載時出現了許多嚴重問題。我們發現,這些公司對未來的願景與我們多年來的預測相似,這證實了這一點。 「我們的成功取決於能否進入這些領域。我們正在應對光子技術方面的挑戰,特別是在大批量、高品質製造方面。這種方法使我們能夠與行業主要參與者合作,同時滿足最終用戶的需求,從而突破人工智慧技術的界限。
Ayar Labs 今年八月曾表示,將發表其光學I/O 技術來取代晶片內的銅線。該公司正在開發將光學I/O 放入晶片結構中的技術,並已研究該技術十多年。該技術允許晶片內部實現更快的通信,旨在取代速度較慢的銅線。
「借助光學I/O,你可以突破幾十米甚至幾百米的距離,然後連接更多的GPU 或加速器,」Wade 說。
大規模商用在即?
在人們很容易認為,NVIDIA、AMD 和英特爾的投資預示著這些公司正在尋求以某種方式在其計算引擎中部署TeraPHY 光學傳輸及其SuperNova 雷射源。我們知道,他們的早期投資者HPE早在2022 年2 月就與Ayar Labs 達成了一項戰略投資和合作協議,將矽光子學添加到其「Rosetta」Slingshot 互連中。
但在回答The Next Platform諮詢時,Ayar Labs 商業營運副總裁Terry Thorn 開玩笑說:「他們都是投資者和公司,我們正在與他們一起探索許多有趣的機會——其中大部分我們目前還不能談論。 「我們可以想像這種情況會發生,但還有許多其他方法可以實現共封裝光學器件,這三家公司也都有發明自己產品的習慣。
換而言之,透過這些投資,這些晶片公司可能只是想更深入了解Ayar Labs 正在做的事情。但正如Mark Wade在先前的訪談中所說,在許多場景中會需要使用光連結。
如他所說,當Ayar Labs剛開始研究這個問題時,許多早期見解都來自高效能運算社群——你知道,國家實驗室正在建造的大型機器。這些大型系統首先發現它們存在大量資料移動問題,這些問題開始成為整個系統效能的瓶頸。這就是Ayar Labs稱為「煤礦中的金絲雀」的2010 年至2015 年的時間段,當時的現狀表明底層計算技術存在問題。
之後,隨著人工智慧工作流程開始出現,以及圖像識別、推薦引擎等早期工作負載——但後來,特別是當轉換器模型上線並開始啟用新的人工智慧應用程式時,我們進入了生成式人工智能時代。但關鍵是要意識到,構成這些人工智慧運算系統骨幹的運算系統看起來像是高效能運算架構。
「因此,十年前在高效能運算中發生的相同資料移動挑戰現在開始出現在人工智慧系統中,並成為整個系統效能的瓶頸。」Mark Wade強調。
Mark Wade指出,這是一個多方面的問題。您必須讓人們在功率受限的情況下將更多頻寬傳輸到更長的距離。因此,這些系統的功率限制並不是無限的。每個等級都存在熱和功率密度問題- 晶片級、封裝級、系統板級、機架級。因此,每個等級都存在功率問題。延遲是您必須更仔細檢查的地方。
「如今,人們使用銅線和電氣I/O 以電氣方式傳輸高頻寬的方式,您往往會做一些事情,例如添加糾錯,因為您要嘗試恢復在以電氣方式傳輸資料時發生的所有低效率和資料損壞。
為了實現上述目標,Ayar Labs一直在豐富其產品線。
如果你看一下路線圖,你會發現Ayar Labs每隔幾年就會將每個晶片的頻寬翻倍。他們的計劃從4 Tbps 增加到8 Tbps,然後是16Tbps 和32 Tbps,這是每個晶片的頻寬。 Ayar Labs也下調了一些向量——每個晶片的頻寬、每個封裝實例化多個晶片的能力、擴大整個封裝級別頻寬以及可以從封裝中釋放的頻寬基數。 Ayar Labs的客戶通常會專注於我們可以從他們的封裝中釋放多少頻寬,以及在什麼樣的功率密度約束下。特別是隨著人工智慧系統的發展,每個封裝中更高的頻寬釋放變得越來越重要,同時也提高了連接的基數。
目前,Ayar Labs的每個晶片有8 個端口,每個晶片組有8 個端口。假設每個封裝有4 個晶片組,則您的連接埠為32 個,您可以將所有這些連接埠連接到不同的地方。
展望未來,Wade表示:“我們目前在實驗室中與客戶共同開展的工作,實際上是為了在兩到三年後實現首次大規模市場部署。”
寫在最後
其實光學並不是新技術——光纖真正進入科技領域是在70 年代。我們開始建造海底電纜和類似的東西,最終連接網路。光學技術是眾所周知的。
但是將數據直接以光學方式從計算包中移出的需求實際上是一個相當新的現象,這與電氣I/O 問題的惡化速度有關。我們的應用程式需要更高的頻寬和更好的能源效率——這開始打破現有的基於電氣I/O 的系統。但挑戰在於,你不能只把人們使用的技術和產品用於人們可能熟悉的更標準化的解決方案,例如使用乙太網路的可插拔收發器。如果我在資料中心內移動100 Gbps、400 Gbps 或800 Gbps,那麼這些已經是光學可插拔收發器了。問題是,如果你打開這些收發器並查看裡面的東西,你會發現它們沒有直接擴展到計算結構的特性。
因此,要實現上述目標,除了面對尺寸、元件數量、成本結構,以及所有這些組件的組裝方式。還有功率效率、熱靈敏度等問題,還有「我不能直接將收發器放入電腦封裝中」的一系列問題。
「因此,我們必須從頭開始發明一種具有正確底層特性的技術:密度、設備尺寸、能源效率,更重要的是,能夠整合到製造流程中,從而在CMOS 規模下運作。我們必須掌握如何將該技術納入封裝,因為這是一種真正大規模的應用。 Mark Wade表示。
面向這個市場和機會,除了Ayar Labs以外,Lightmatter、Celestial AI 、Eliyan以及國內的曦智和一大堆的處理器、晶圓廠和封裝廠都在努力,為矽光子學成為計算引擎和互連之間的橋樑各出奇招。