中國公司僅用7個月設計出遠超同級別ARM架構的AI芯片
誕生於加州大學伯克利分校的RISC-V開源指令集近來在中國關注度非常高。5月,上海發布國內首個RISC-V的支持政策。9月,中國RISC-V產業聯盟在上海成立。11月,中國開放指令生態(RISC-V)聯盟在烏鎮宣布成立。有意思的是,中國最早做RISC-V的公司選擇了落戶深圳,並且僅用7個月就設計出了一款基於RISC-V指令集的AI芯片,能耗和麵積明顯優於同級別Arm架構芯片,
更讓行業吃驚的是該款芯片一次性流片成功。這是否意味著在AI和IoT領域Arm即將面臨一場與新興技術的硬戰?
僅用7個月完成芯片研發的兩大關鍵
僅用7個月就完成從零開始設計驗證到交付流片全部研發工作的公司叫做睿思芯科,是2017年在美國矽谷初創的OURS公司在深圳設立的中資公司,OURS創始人兼CEO譚章熹在清華大學電子工程系獲得學士學歷,後前往加州大學伯克利分校深造,師從新晉圖靈獎得主David Patterson,取得了計算機科學博士。我們知道,RISC-V就出自2017 年新晉圖靈獎得主David Patterson之手,這意味著譚章熹博士成了離RISC-V技術最近的中國人。
譚博士表示:“說我們是中國最早做RISC-V指令集芯片的公司應該不會有爭議,之所以把中資公司設立在深圳是因為我覺得無論從環境、文化還是人才的角度,深圳和我們最匹配。我們基於RISC-V指令集的AI芯片Pygmy僅用7個月就完成了從零開始設計到交付流片的工作。”
譚博士提到的Pygmy AI芯片並沒有隆重的發布會,首次亮相是在本月初Patterson教授烏鎮世界互聯網大會的演講中,Pygmy也在大會期間展出。Pygmy是全球最小的鸚鵡。譚章熹透露,睿思芯科的第二代架構叫Pocket,是世界上第二小的鸚鵡。不難發現,睿思芯科的架構和產品都以鳥的種類命名,但新一代產品命名使用的鳥的體型比上一代大,譚博士希望公司的產品能覆蓋越來越大的市場空間。
譚章熹和他的博士導師David Patterson
睿思芯科的產品命名很有特色,但更吸引人關注的是其如何在7個月內完成全部研發工作。譚章熹表示:“之所以能在不到一年的時間完成全部研發工作,一個很關鍵的因素就是RISC-V指令集。我們知道微處理器的設計很難,因為軟件和硬件接口的地方很多,比如OS、SW framework、模擬器等,不過我們依靠RISC-V的生態,生態中的工具、工具鍊等幫助我們縮短了芯片的校驗時間。另一個很關鍵的因素就是我們有經驗豐富的工程師,我們的工程師對RISC-V更深的理解以及知道設計芯片的關鍵對縮短芯片研發的時間也非常關鍵。”
到底是架構更重要還是經驗豐富的工程師更加重要?譚章熹表示兩者同等重要,當然睿思芯科的芯片量產也會有必要的周期。他同時指出,想要在7個月內完成芯片的全部設計工作並不容易,除了需要對指令集有深刻理解以及有經驗豐富的工程師明白如何做芯片業非常關鍵,軟件也非常關鍵。特別對AI而言,AI算法的不斷演進對芯片算力和和內存的要求也會不斷提升,因此芯片需要具備快速迭代的能力,此時架構和軟件都將發揮關鍵的作用。
能耗和麵積明顯優於同級別Arm架構芯片
時間上Pygmy僅用7個月就完成了全部研發工作,但芯片的性能卻很強,根據睿思芯科的說法,Pygmy對比同級別的Arm芯片,能耗下降85%,面積減少80%,相當於用一般的32位處理器的面積和功耗就實現了64位處理器的性能。具體看,Pygmy基於64位RISC-V指令集,使用台積電28nm工藝,採用多核異構架構,其中CPU架構是睿思芯科基於RISC-V指令集設計而成,並針對多種AI應用進行了優化,還有12個高度可編程AI加速引擎,同樣基於睿思芯科自定義開發的RISC-V矢量擴展指令集設計而成。
性能方面,Pygmy主控CPU具有64位位寬,主頻600 MHz,基於RV64G指令集,支持雙精度浮點運算,具備乘法器、除法器、開方器等;12個AI內核均為高度可編程,可以支持各種主流AI算法。能耗方面,主控CPU功耗僅為10mW,通過前端/後段的全棧設計,待機設計功耗不超過1mW。並且,Pygmy在Int8時可實現4 TOPS/watt,作為對比,Google第一代28 nm TPU 92 TOPs 超過40 watt,差不多2.3 TOPS/watt。另外,提供Pygmy芯片的同時睿思芯科還開發了編譯器、SDK、工具鏈,基於GCC、LLVM等開源實現,可以支撐Pygmy用戶更好的進行二次開發。
Pygmy芯片
需要指出的是,雖然上面提到Pygmy對比同級別Arm芯片能耗和麵積都有超過80%的下降,但因為目前沒有Arm芯片與Pygmy完全類似,因此作對比的是Pygmy主控CPU。那麼,Pygmy到底是如何實現的低功耗和高效能?譚章熹表示:“最主要的還是因為RISC-V架構的精髓——簡單、面積小、速度快。因此我們不僅可以做架構創新,也可以把我們的芯片做的最簡單和高效,我們剛開始設計Pygmy的時候也沒想到能得到這麼好的成績。”
除了架構上不需要由複雜向下精簡,架構上的創新也很重要。Pygmy採用了多核異構的架構,譚章熹表示:“通用的CPU也能處理AI的任務,但是效率不高,這時候就需要有特殊和核心和架構來滿足AI的需求。Pygmy除了有主控CPU還有12個高度可編程的AI加速引擎,主要針對神經網絡以及CNN算法進行了優化,能夠支持AI圖像和語音的應用。之所以集成的是12個可編程AI加速引擎,是和我們芯片的面積有很大的關係。當然12個加速引擎只代表一個邊界,根據不同應用的性能及功耗需求,可以配置數量不同的可編程AI加速引擎,並且我們的團隊能夠在3個月內就完成AI加速引擎核的定制。未來,我們還會推出能集成更多AI加速引擎的產品。”需要指出,異構架構會帶來芯片編程複雜性的增高。
另外,AI芯片選擇支持的數據類型也非常重要,因為目前哪種數據類型最適合深度學習還沒有定論。據悉,Pygmy之所以支持Int8和FP16兩種數據類型一方面是出於芯片模組性能和功耗的表現支持這兩種數據類型時在終端上的推理表現良好,另一方面是用戶的需求,因為除了芯片,相應的的軟件及應用也需要支持對應的數據類型。
還有,AI芯片消耗能量更多的是數據的搬運而非計算,因此如何減少數據的搬運以及數據類型的支持對於AI芯片的設計者而言也是必須考慮的問題。可以看到的是Pygmy上搭載了1 MB的SRAM支持LPDDR4、SPI、UART等數據輸入輸出模式。但對於如何減少數據搬運的耗能,譚章熹透露,睿思芯科有自己比較獨特的技術,主要是在架構設計上有所考慮,另外就是通過軟件進行控製而非傳統意義上的硬件管理。
當然,無論是傳統的芯片還是AI芯片,除了性能、功耗以及面積,成本也至關重要。譚章熹表示,之所以選擇28nnm工藝而非更先進的工藝是因為先進工藝的提升成本越來越高,但性能的提升卻有限,綜合來看28nm對於睿思芯科而言是性價比最高的選擇。
Arm在IoT領域迎來與RISC-V的硬戰?
既然Pygmy整體表現優於Arm同級別芯片,Pygmy也是面向各種物聯網終端的AI推理場景。同時我們還看到,國外的GreenWaves,國內的中天微系統、君正集成電路、華米推出的基於RISC-V指令集的芯片都面向物聯網市場,這是否意味著RISC-V指令集芯片在IoT領域已經勢不可擋?
譚章熹表示:“RISC-V在整個軟件生態上與Arm的生態還有一定的距離,Arm也有一定的技術優勢,這不是短期內建立的。不過我樂觀地認為RISC-V縮小與Arm生態之間的差距要比Arm趕上x86所需的時間要短。至於與Arm的競爭,在手機芯片領域RISC-V的機會不大,但目前我們看到了AI以及IoT,在新興的領域RISC-V有非常大的機會。因為在IoT市場,有非常多的差異化需求,並且每個地區和市場的還可能有特性的需求,因此在這一市場大公司有其競爭優勢,小公司也有優勢。”
更具體地說,對於新興的應用,RISC-V指令集的芯片能夠更加靈活,小公司能夠更好地滿足這些應用的需求,這將在很大程度上與Arm行程競爭。至於已經在Arm上投入很多且從中獲益的公司,其競爭對手以及成本可能是其選擇RISC-V的關鍵因素。包括谷歌、英偉達、高通、AMD、IBM、華為等巨頭都已經加入了RISC-V基金會,有一些Arm的用戶已經開始接觸RISC-V有一兩年時間,一旦有其中一家公司推出能效和成本更低的RISC-V芯片,其競爭對手也會迅速跟進,這對於RISC-V指令集不僅是種認可,也將有利於RISC-V與Arm的競爭。
不過,睿思芯科到底會選擇哪些AIoT應用切入市場譚章熹並沒有透露。但他表示睿思芯科的業務模式將不是僅僅提供定制化的芯片或者模組,而是會基於已有的產品,做垂直的服務,提供定制化的解決方案。當被問到是否會進入熱鬧的安防市場的時候,他表示會對安防市場保持關注,要進入這一市場一定會是戰略合作夥伴的方式,並且會找到一個特定的應用角度切入,而非常見的監控攝像頭。
譚章熹也表示,即便是在新的IoT和AI市場,RISC-V想要佔據優勢也並非一家企業可以實現的,而是要一個完整的系統,這需要五年甚至十年,但我自己非常有信心。對於目前的RISC-V市場,還沒有到需要彼此激烈競爭的階段,而是更應該共同把生態做大。僅組建聯盟而沒有拿出實際的產品也不是發展和壯大RISC-V好的方式,更多的應該是拿出實際的產品以及進行實質的合作,進一步能為RISC-V的生態做一些貢獻。
小結
譚章熹作為離RISC-V技術最近的中國人,他認為RISC-V的精髓在精簡、面積更小、速記更快,基於RISC-V指令集可以設計出更好的芯片,授權費,便宜在靈活性和開放面前顯得不是那麼重要。而他對RISC-V的理解以及他在芯片領域的積累讓他和他的團隊能夠在七個月內就完成一款芯片的全部研發工作。當然,無論是在美國的OURS還是在深圳的睿思芯科,在文化以及做事方式上都有不少的矽谷作風。
Arm在手機領域的地位難以撼動,但是在AIoT領域Arm顯然已經感受到來自RISC-V陣營的競爭,並對此保持關注。因此,在AIoT領域到底是RISC-V能佔據優勢還是Arm,我們只能讓時間給我們答案,畢竟從歷史的經驗來看,一個技術的成功除了技術本身,還關係到非常多的因素。