你的手機智能嗎?安兔兔AI測試發布
現如今AI一詞對我們已經不太陌生,無論是PC端還是移動端,無論是手機還是汽車,不提到AI似乎就有點落伍的意思。AI已經和我們的生活息息相關起來,影響著我們生活的方方面面。AI雖然嚴格來說是一種算法,但和軟件以及硬件層面的支持是密不可分的,二者疊加就帶來了性能層面的差距。
為了讓大家能對自己手機的AI性能有一個直觀的判斷,安兔兔今天正式發布了“安兔兔AI評測”公測版,為大家提供一個可以量化的標準,從而判斷不同平台AI性能的區別。
但需要注意的是,截止目前業內關於AI還沒有一個統一的標準,各芯片廠商對於AI的理解也各有不用。比如高通是通過SoC內部的DSP來處理AI相關運算、海思麒麟是通過內部獨立的NPU來專門進行AI運算,三星以及聯發科也在最新一代芯片中加入了獨立的AI芯片,三星同樣稱之為NPU,聯發科則稱之為APU。
除了硬件層面的不同外,SDK方面同樣沒有統一的標準,各廠商都提供有適用於自家AI芯片的SDK,其中高通的SDK名為SNPE、聯發科的SDK名為NeuroPilot,海思麒麟的SDK名為HiAI、NVIDIA的SDK名為TensorRT,而三星的SDK目前尚未公佈,這些SDK都會在安兔兔AI評測中得以展現。
安兔兔通過和上述廠商的合作,建立了統一的標准進行測試。測試分為兩個子項目,分別是圖片分類以及對象識別。
其中,圖片分類是基於Inception v3神經網絡進行,測試數據為200張圖片;而對象識別則是基於mobilenet ssd神經網絡進行,測試數據為一段600幀的。
安兔兔推薦用戶在Wi-Fi狀態下進行測試,雖然軟件安裝包大小僅為33MB,但數據包最高可達160MB,用戶首次點擊開始測試後會自動下載數據包(非Wi-Fi網絡下有提示),下載完成後會驗證數據包完整性,隨後正式開始測試。
僅首次運行安兔兔AI評測需要下載數據包,後續重新測試無需再次下載數據包,但係統每次都會驗證數據包的完整性,如數據包出現損壞,則需重新下載後才能測試。
此外,不同平台數據包的大小並不相同,安兔兔是通過各廠商提供的SDK將原始神經網絡轉化為廠商所支持的神經網絡。雖然數據包大小不同,但最終測試樣本完全相同,所有芯片都是在統一的標準下進行測試。
如果芯片自身並不支持AI相關算法,或者廠商提供的SDK暫時無法支持安兔兔AI評測的網絡,圖片分類和對象識別則使用TFLite調用CPU進行運算,效率較低,而且成績也會不理想。
評分標準:
1、成績和速度以及準確率有關,速度越快,準確率越高,最終成績越高。
2、如果速度較快,但準確率較差,安兔兔AI評測有針對性的罰分措施,避免出現以降低準確率來增加速度最終影響總成績這樣的作弊行為,反之亦然。
特殊情況說明:
1、因安兔兔AI評測是對AI運算能力的評估,所以AI處理器相同,分數差異表現不明顯(例如:高通845和710的DSP型號相同,所以分數差距不大)
2、目前三星尚未發布自家AI SDK,所以三星自家芯片均是通過CPU進行測試,導致成績偏低,這一情況會在三星發布SDK後得到改善。
3、海思HiAI引擎對象識別目前使用TFLite在CPU上進行運算,導致成績偏低,這一情況同樣會在海思升級HiAI後得到改善。
4、NVIDIA的移動芯片通過TensorRT引擎可以把AI算法交給GPU通過浮點算法完成。
5、Android的版本同樣會對測試成績產生影響,理論上同一款芯片在Android 9.0下的成績會高於Android 8.0,因為谷歌一直在系統層面優化對AI的支持。
小彩蛋:
在安兔兔AI評測正式版發布後,安兔兔會在合適時間發布安兔兔AI Mobile Tool,方便者調用各平台硬件加速功能,加速移動AI應用行業的發展。