性能最高比英偉達T4強三倍百度崑崙AI芯片進一步展示“殺手鐧”應用
百度智能芯片總經理歐陽劍在一場公開課中首次對崑崙芯片進行了詳細分享,並公開了崑崙K200與英特爾T4 GPU的多項對比數據,其中最有優勢的一項數據是Gemm-Int8 的Benchmark是T4性能的3倍。歐陽劍還通過視頻展示了崑崙芯片的殺手鐧,與國產處理器飛騰的良好適配。
2018年的百度AI開發者大會上,百度創始人、董事長兼CEO李彥宏宣布推出自研AI芯片崑崙。百度研發AI芯片的積累得益於其用FPGA做AI加速的積累,也得益於其在軟件定義加速器和XPU架構的多年積累。
百度最早在2010年開始用FPGA做AI架構的研發,2011年開展小規模部署上線,2017年部署超過了10000片FPGA,2018年發布自主研發AI芯片,2019年下半年流片成功,2020年開始量產。
崑崙芯片的定位是通用AI芯片,目標是提供高性能、低成本、高靈活性的AI芯片。歐陽劍在分享中說:“相比GPU,崑崙芯片的通用性和可編程性都做的不錯,並且我們還在努力把編程性做的更好。”
崑崙發布之後,其相關消息陸續公佈。架構方面,崑崙有2個計算單元,512GB/S的內存帶寬,16MB SRAM/unit。歐陽劍介紹,16MB的SRAM對AI推理很有幫助,XPU架構上的XPU-SDNN是為Tensor等而設計,XPU-Cluster則能夠滿足通用處理的需求。
崑崙第一代芯片並沒有採用NVLink,而是通過PCIE 4.0接口進行互聯。在三星 14nm的製造工藝和2.5D封裝的支持下,崑崙芯片峰值性能可以達到260TOPS,功耗為150W。
在靈活性和易用性方面,崑崙面向開發者提供類似英偉達CUDA的軟件棧,可以通過C/C++語言進行編程,降低開發者的開發難度。
目前,基於第一代崑崙芯片,百度推出了兩款AI加速卡,K100和K200,前者算力和功耗都是後者的兩倍。
在今天的分享中,歐陽劍給出了一系列K200對比英偉達T4的數據,其中在Gemm-Int8數據類型,4K X 4K的矩陣下,崑崙K200的Benchmark分出超過2000,是英偉達T4的3倍多。
在語音常用的Bert/Ernie測試模型下,崑崙也有明顯性能優勢。
在線上性能數據的表現上,崑崙的表現相比英偉達T4更加穩定,且延遲也有優勢。
在圖像分割YOLOV3算法中,崑崙雖然有優勢,但優勢已經不那麼明顯。不過歐陽劍表示百度仍然在通過持續的優化提高崑崙的性能。
他同時表示,崑崙已經在百度內部規模應用。至於對外提供AI算力,去年12月13日百度通過定向邀請的方式通過百度雲提供崑崙的算力。通過百度雲提供崑崙AI算力目前仍然是定向邀請的方式,且主要是私有部署的方式。百度會通過定向邀請的客戶的反饋消息,再通過百度雲大規模向外提供崑崙的算力,但他沒有給出具體的時間線。
除了通過百度雲提供崑崙的算力,歐陽劍也展示了崑崙加速卡在工業智能設備中的應用。歐陽劍演示的是用CPU和崑崙加速卡去進行產品缺陷檢測,崑崙可以大幅提升速度,但並沒有給出具體的對比數據。
另外一個展示則是崑崙的殺手鐧,那就是和國產處理器平台飛騰的適配。在2019飛騰生態夥伴大會上,歐陽劍就透露崑崙AI芯片正在適配國產飛騰服務器,做性能調優工作。在今天的線上分享中,歐陽劍展示了採用崑崙加速卡帶來的圖像分割速度的顯著加速。
飛騰CPU處理器採用的是Armv8指令級,主要用在數據中心和雲計算中心,作為國產芯的代表,崑崙選擇與飛騰進行很好地適配顯然是看中了國產自研芯片的大市場。
通過飛騰CPU+崑崙AI加速器的方式,雙方可以更好的實現國產芯片在服務器市場的國產化,也可以視為崑崙AI芯片和加速卡未來增長的一個重要動力和殺手鐧。