一篇論文引發的AI芯片革命:這次真想要了摩爾定律的命
光子計算時代到來了嗎?幾家中美芯片創企正試圖給出正面的回答。2020年6月,LightOn發表用光學神經網絡訓練芯片運行AI模型的新論文;7月,曦智科技拿到由和利資本投資的數千萬美元A+輪融資;8月,Lightmatter在芯片頂會Hot Chips上展示了其光子芯片的架構細節;12月,光子算數宣布其打造的光電混合AI加速計算卡已交予服務器廠商客戶做測試。
原標題:一篇論文引發的AI芯片革命:這次真想要了摩爾定律的命
來源:智東西 文|心緣
在加速人工智能(AI)這條賽道上,光子計算芯片這條創新的技術方向正異軍突起。這是一群勇敢的探路人,他們在期待和爭議中前行,一步一個腳印地試圖證明自己判斷方向的正確性。
光子AI芯片距離產業化落地還有多遠?在這一賽道的創業者們,能給計算芯片帶來新的驚喜嗎?
本文福利:在2020年第32屆Hot Chips會議上,孵化於麻省理工學院的初創公司Lightmatter展示了新一代矽光子芯片Lightmatter Mars。推薦Lightmatter在Hot Chips上的演講報告,可在公眾號聊天欄回復關鍵詞【智東西150】獲取。
01.一篇頂刊論文引出的新型賽道
隨著摩爾定律滯緩,矽光子技術成為超越摩爾定律的研究方向之一。
2017年,來自英國艾克塞特大學、牛津大學和明斯特大學的研究人員,宣布了其類腦光驅動芯片研究成果。他們用特殊相變材料和光子集成電路模擬人腦神經突觸,使得這款芯片在測試中的數據傳輸速度達300Gbps,比當時現有標準處理器要快10-50倍,同時功耗大幅降低。
在同年5月的美國麻省理工學院10萬美元創業大賽上,一支來自麻省理工學院(MIT)的團隊憑藉用納米光子芯片執行AI任務,成功斬獲大獎。
▲主創團隊在2017年贏得麻省理工學院10萬美元創業大賽
1個月後,主創團隊的研究成果登上頂級期刊《自然·光子學》的封面,論文描述了一種利用光學乾涉進行神經網絡計算的創新方法。當時,國際著名光學科學家、斯坦福大學終身教授David Miller評價稱:“這一系列研究成果極大地推動了集成光學未來取代傳統電子計算芯片的發展。”
這篇光子芯片論文的一作及通訊作者是MIT博士後沈亦晨,二作是尼克·哈里斯(Nick Harris)。不久之後,這些論文合著者將成為商業上的競爭對手,開啟各自的創業之旅,並分別獲得來自谷歌、百度等科技巨頭的投資。
▲麻省理工學院團隊論文登上《自然·光子學》封面
論文鏈接:https://www.nature.com/articles/nphoton.2017.93
光子是當前速度最快的粒子,相較電子,速度更快而功耗極低。此前光學技術通常應用於通信傳輸領域,借助光的更快速度、更高容量等特點實現數據的遠距離傳輸,但在計算領域進展緩慢。
實際上,光計算的研究歷史並不短暫。在國外,1950年代前後,貝爾實驗室等機構花費大量精力來設計光學計算機部件;在國內,1987年中科院上海光學精密機械研究所王之江院士曾於《中國科學院院刊》上撰文,提出了極具前瞻性的發展光計算技術的建議,並於此後在光學神經學邏輯計算方面開展了大量的工作。
由於光計算的應用場景並不清晰,軟硬件體係也不夠完善,關於如何用光子代替電子芯片執行計算的想法長期停留在研究階段,鮮少在實際應用中發揮廣泛的作用。
直到摩爾定律趨於滯緩,AI的巨輪開始起航。
02.光子AI芯片的優勢:
速度快、功耗低、擅長並行計算
作為統治計算的一個基準法則,摩爾定律指出,微處理器芯片上的晶體管數每18-24個月翻一番,曾長期作為推動電子設備小型化和互聯網普及的關鍵動力。
但這是芯片製造商及供應商竭力維繫摩爾定律的結果,隨著逼近物理尺寸極限、散熱難題即將成為無法克服的挑戰,以及許多關鍵的計算密集型應用發展提速,人們對摩爾定律的未來產生了更多疑慮,對芯片技術創新的需求也愈發迫切。
2016年,《Nature》在“超越摩爾(More than Moore)”一文中指出,摩爾定律已接近日薄西山,接下來矽晶技術的發展將不再以摩爾定律為中心,造出更好的芯片然後讓應用跟進,而是從應用出發來看需要怎樣的芯片支持,進而容納更多細微複雜的創新方向。
而根據OpenAI發布的分析數據,自2012年以來,AI訓練對算力的需求每3.43個月翻一番,增速明顯快於摩爾定律。
▲自2012年以來算力需求增長超過30萬倍,而如果以摩爾定律的速度只會有12 倍的增長(來源:OpenAI)
隨著以神經網絡計算為主的AI應用普及,一些研究人員意識到,深度學習可能是數十年來光學計算所等待的“殺手級應用”。
首先,光速快於電子速度,理想狀態下,光子芯片的計算速度能比電子芯片快約1000倍。同時,採用成熟半導體工藝技術的光子芯片,即可達到當下需要的計算能力。
其次,光子計算消耗能量少,同等計算速度下,光子芯片的功耗僅為電子芯片的數百分之一,可以緩解AI創新所需的數據中心建設對環境的影響。
▲Lightmatter聯合創始人兼CEO尼克·哈里斯在2020年Hot Chips上講解光子計算相較電子計算的延時、帶寬、功耗優勢
最後,光計算技術具有並行計算的特點,光波的頻率、波長、偏振態和相位等信息可以代表不同的數據,且光路在交叉傳輸時互不干擾。這些特性使得光子擅長做並行運算,與多數計算過程花在“矩陣乘法”上的人工神經網絡相契合。
總體而言,光具有高計算速度、低功耗、低時延等特點,且不易受到溫度、電磁場和噪聲變化的影響,在AI應用領域,將光學技術與電子學結合,有望提供比傳統方法更好的速度和能效。
03.光子計算走向商業化
嗅到AI加速帶來的機會後,來自英、法、美、中的一些創業團隊開始揚帆起航,切入雲端AI計算市場,其中不乏有初創公司得到來自科技巨頭及知名投資者的投資。
2013年成立的英國創企Optalysys,曾於2015年創建一個光計算原型,實現了約320Gflops的處理速度,且能效非常低。去年上半年,Optalysys推出了入門級光學協處理器FT: X2000,計劃出售給包括計算機製造、國防及航空航天領域的部分合作夥伴及早期客戶。
▲Optalysys入門級光學協處理器FT: X2000
初創公司Fathom Computing成立於2014年,其光子原型計算機在2014年時識別手寫數字的準確率還只有30%左右,到2018年時已經超過90%。其創始人Willam Andregg稱,這是機器學習軟件首次使用激光脈衝電路而非電力進行訓練。不過近兩年,這家創企似乎並未公開更多進展。
2018年,成立兩年、總部位於法國巴黎的創企LightOn宣布,它已經開始在歐洲的數據中心測試自己的光學處理單元(OPU)技術。2020年6月,LightOn發表的新論文顯示,其光學神經網絡訓練芯片在運行基於MNIST手寫數字數據集訓練的模型時,學習率為0.01,測試準確率達到95.8%;同一算法在GPU上的學習率為0.001、準確率達97.6%。而該光學芯片的功耗效率要比GPU高出一個數量級。
論文鏈接:https://arxiv.org/pdf/2006.01475.pdf
當然,名氣最盛的光子芯片創業者,當屬曾在《自然·光子學》上發表封面文章、來自麻省理工學院的沈亦晨和尼克·哈里斯,兩人均在2017年成立光子芯片公司,都選擇Mach-Zehnder干涉儀光開關陣列(MZI)作為基礎計算單元,但具體的MZI結構及陣列架構有所不同。
沈亦晨在美國波士頓創辦Lightelligence,在中國上海成立曦智科技,發展了跨國多元團隊,是目前全球融資額最高的光子計算初創公司。
▲曦智科技創始團隊
曦智科技在2018年獲得由百度風投和美國半導體高管財團領投的逾1000萬美元種子輪融資;2020年4月完成由經緯中國和中金資本旗下中金矽谷基金領投、百度風投繼續追加投資的2600萬美元A輪融資;2020年7月完成由和利資本投資的數千萬美元A+輪融資。
2019年4月,曦智科技發布全球首款光子芯片原型闆卡,在運行TensorFlow處理MNIST數據集的測試中取得百倍以上的速度提升,準確率接近電子芯片(97%以上),而完成矩陣乘法所用的時間不到最先進電子芯片的1/100。曦智科技計劃從2021年起為AI雲計算帶來高效的量產產品。
▲曦智科技開發的全球第一款光子芯片原型闆卡
尼克·哈里斯在波士頓創辦的Lightmatter公司,則拿到了由谷歌風投、星火資本、經緯創投等投資的3300萬美元資金。
▲Lightmatter聯合創始人Darius Bunandar(左)、Nicholas Harris(中)、Thomas Graham(右)
在2020年的芯片頂會Hot Chips上,Lightmatter展示了其用於AI推理加速的測試芯片Mars,該芯片利用矽光電學和MEMS技術,通過由毫瓦級激光光源,為用光執行矩陣向量乘法提供動力。相較傳統電子芯片,其計算速度提升數個量級。
Lightmatter預計在2021年秋季推出這款測試芯片的首款商用產品,並為之打造了必要的軟件工具鏈。哈里斯稱其量產芯片在BERT、Resnet-50推理等工作負載上,能效將是AI芯片領導者NVIDIA旗艦芯片A100的20倍、吞吐量將是A100的5倍。
▲Lightmatter測試芯片Mars
看到《自然·光子學》上MIT團隊刊發的論文後,正在研究光電子的中國北京交通大學2014級博士生白冰獲得了新的啟發,他與十餘位來自清華、北大等北京8所高校的博士生們一起,在2017年在北京創立光子算數團隊,開始推進光子AI芯片商業化。
▲光子算數創始人兼CEO白冰
光子算數於2018年9月獲得臻雲創投、英諾天使基金投資的天使輪融資、2019年獲得由水木清華校友基金、常見投資、英諾天使基金、臻雲創投等投資的A輪融資。
目前光子算數已研發可編程光子陣列芯片FPPGA(Field Programmable Photonic Gate Arrays),並基於此與北京高校一起打造了面向服務器的光電混合AI加速計算卡,能完成包括機器學習推理、時間序列分析在內的一些定制化加速任務。
其計算卡已於2020年交由服務器廠商客戶進行測試,在不到70W的運行功耗下,能做三四十路1080P視頻同步處理,混合精度下峰值算力接近20TOPS,光部分為低精度,電部分為高精度。
▲光子算數的光電混合AI加速計算服務器應用測試
從美國普林斯頓大學脫胎而出的美國光子AI芯片創企Luminous Computing成立相對晚一些。
該公司由首席策略官Michael Gao、CEO Marcus Gomez和CTO Mitchell Nahmias在2018年聯合創立,於2019年籌得來自微軟創始人比爾·蓋茨、Uber首席執行官Dara Khosrowshahi等知名投資者的900萬美元種子輪融資,2020年又籌得由Helios Capital領投的900萬美元A輪融資。
Nahmias在普林斯頓PhD期間的主要研究方向即是光子AI芯片。與MIT團隊不同,他們採用的並非MZI,而是被稱為Broadcast and Weight的方案,相較MZI型方案多了光電轉換過程,且對相位不敏感。Nahmias稱其光子集成電路可以取代3000塊TPU板,更加節省能耗,且能突破現有AI芯片傳輸數據的瓶頸。
▲Broadcast and Weight方案的原理框架
這些創業團隊的硬件均被設計為可以插入標準服務器和工作站中,可實現即插即用,並能與主流AI軟件配合使用,以滿足商用需求。
04.結語:光子計算踏上AI計算新征程
訓練AI模型需要超高算力的計算機芯片,這使得芯片巨頭、初創公司之間展開一場圍繞AI計算的全新角逐。
如今光子計算仍處早期階段,站在這一全新計算賽道上的玩家們,幾乎沒有前路可以藉鑑,他們正頂著技術挑戰、落地風險等方面的壓力,試圖構建起光子計算生態,探索著改變計算的可能。
對於投資者來說,新興計算技術仍充滿風險。但隨著世界對多元計算方式的需求增加,以光子計算、神經擬態芯片、量子芯片等為代表的新興計算方法,正被寄予打破標準計算系統制約的期待。
這是件令人期待的事情,光學計算已經在商業化道路上邁出了重要的一步,而一旦有初創公司解決工程化挑戰、取得落地商用的成功,光學計算革命的大門或將由此開啟。