Deep Vision發布低延遲AI處理器利好注重實時性能的邊緣計算應用
Deep Vision是一家致力於為邊緣計算解決方案打造人工智能推理芯片、成立至今已有六年的初創企業。今日,該公司宣布推出了全新的ARA-1處理器,有望在低延遲、高效能、以及計算性能之間找到合適的平衡。Deep Vision表示,該芯片可在相機傳感器、到成熟的邊緣計算服務器等領域發揮重要的作用。
採用M.2 接口封裝的Deep Vision AI 處理器產品
得益於在實時視頻分析方面的實力,該芯片主要面向智能零售領域的解決方案,比如無人收銀的商店、智能城市、工業4.0 / 機器人等領域。
此外該公司海域汽車行業的供應商合作,主要圍繞自動駕駛之外的車內監測,以避免駕駛員分心或疲勞駕駛。
據悉,Deep Vision由首席技術官Rehan Hameed和首席架構師Wajahat Qadeer攜手創立,後又招募了曾在英特爾和閃迪工作過的Ravi Annavajjhala作為公司的首席執行官。
在斯坦福大學的博士學位論文中,Hameed 和Qadeer 介紹了他們開發的Deep Vision 體系架構。
採用U.2 接口封裝的Deep Vision AI 處理器產品
該架構致力於最大程度地減少芯片內的數據移動,因而在AI 工作負載上具有出色的每瓦特、每美元的性能和效率表現。
不過在推出可用硬件之前,Deep Vision 很早就將精力集中到了構建自家的編譯器上,以確保該公司的解決方案可真正滿足客戶需求,然後才完成最終的芯片設計。
Rehan Hameed 表示,Deep Vision 特別強調減少AI 計算的延遲,而市面上許多解決方案更樂於宣傳有多高的數據吞吐量。
但是該團隊認為,在邊緣解決方案中,低延遲是一項更重要的性能指標。相比之下,吞吐量只有在數據中心等領域才顯得有意義。
Deep Vision AI 處理器特寫
Deep Vision 首席技術官Rehan Hameed 解釋稱,那些追求數據吞吐量的架構,要求加速器同時來處理大量的數據流(無論是通過批處理、還是管道執行),以充分發揮硬件的性能。
然而這也是競爭方案獲得高吞吐量的唯一途徑,且這麼做會導致單個任務的延遲相當高,使之難以在更側重於實時性能的邊緣用例中發揮作用。
值得一提的是,Deep Vision 宣稱其AI 處理器的延遲要遠低於谷歌Edge TPU 和Movidius 的MyriadX 方案。
除了通過硬件架構優化來將芯片上的數據移動降至最低,還利用軟件層面的工作負載優化,來改善架構內的整體數據流動。