海思發布XR芯片平台首款AR產品為Rokid Vision
上海海思正式發布XR芯片平台,推出首款可支持8K解碼能力,集成GPU、NPU的XR芯片,首款基於該平台的AR眼鏡為Rokid Vision。海思官方也對這一平台進行了更多解讀:一方面,該XR芯片平台支持8K硬解碼能力,可以支持到單眼42.7PDD。
以VR為例,人眼能達到的理想分辨率大約為60PPD(每度像素數),一般支持4K P60解碼能力的芯片能支持的單眼分辨率為21.3PPD,對應到電視的話只能等效於480P的電視顯示效果,還遠遠達不到讓人感到舒適和沈浸式的效果。此次海思發布的XR芯片也是從解碼能力進行了提升,以提供更清晰的內容呈現效果。
另一方面,該平台加入海思專有架構NPU,可以提供最高9TOPS的NPU算力。
AR產品一個重要應用場景是人臉識別、車牌識別,這需要對AR眼鏡攝像頭中採集到的視頻圖像進行實時分析,正確識別出每幀圖像中的人臉及車牌,將識別到的結果上傳到服務器進行比對,並將比對結果實時顯示到眼鏡中的屏幕上。從圖像採集、分析、上傳到顯示,耗時越短,速度越快,用戶體驗越好,而分析階段是整條鏈路中耗時最長的一環,想要做到每分鐘上百個人臉、車牌在毫秒級時間內完成分析識別,就需要芯片具備強大的NPU算力支持。也是基於這樣的考慮,海思對平台架構進行了優化。
作為海思XR芯片平台的第一款產品,Rokid Vision為國內AR領域創企Rokid旗下的一款核心產品,該產品正面外觀與普通墨鏡相似,鏡片內側有兩塊獨立顯示屏,具備40°+視場角(FOV),1080P的3D顯示效果,採用光波導顯示方案,連同鏡腿兩側的立體聲音響,可為用戶帶來等同於一台4米外110寸3D 高清電視的沉浸體驗。
據悉,Rokid Vision將應用於安防、工業、教育、零售、會展等多個領域,提供更強大、便攜、沉浸的體驗。
Rokid也正式宣布加入海思的XR芯片平台。此前,Rokid已與海思一起優化了這一平台專用算法和方案。據悉,雙方對語音、視覺、環境感知等AI計算能力做了大量的優化工作,完成了多路視頻編解碼的高分辨率低延時設計,從芯片規格、系統軟件和雲端服務多個層面,為XR行業提供AI交互和多人協同等核心基礎能力。