谷歌在Pixel 5中放棄Neural Core 手機芯片計劃遇挫
自Pixel 2以來,Google一直在其智能手機中包含自己的配套芯片組,以改善攝影和其他功能。不過,隨著Google確認其最新的旗艦智能手機Pixel 5中放棄了Neural Core,谷歌似乎已經結束了這一趨勢。
Pixel Neural Core是Pixel Visual Core的後繼產品。兩種芯片組均由Google製造,旨在改善攝影效果。特別是在神經核心上,谷歌還使用該芯片來加快面部劫奪,谷歌助手和Pixel 4上的其他新功能。
不過,谷歌的Pixel“ a”系列基本上證實了確實不需要添加芯片。Pixel 3a和4a在拍攝和處理速度方面都與Pixel 3和Pixel 4差不多,但是令人驚訝的是,Pixel 5的規格列表中缺少了自製芯片組。
谷歌在接受Android Police採訪時證實,Pixel 5和Pixel 4a 5G都缺乏神經核心。谷歌還提到,通過優化,Pixel 5的Snapdragon 765G能夠保持與Pixel 4“相似”的相機性能。
兩款新手機都沒有Pixel Neural Core,也沒有面部解鎖功能。
這是否意味著Pixel Neural Core永遠消失了?可能不是。谷歌已經提到它將在未來的硬件中恢復Soli,因此可以肯定的是,神經核心也將最終回歸。不過,值得注意的是,兩款新Pixel仍提供Titan M芯片以確保安全性。
延伸閱讀:谷歌手機上的這顆芯片或將改變手機攝影行業
谷歌的上一代手機Pixel 3被譽為最佳拍照手機是有原因的。因為Google在上面使用了其HDR +軟件包中的軟件算法來處理像素,噹噹這些與一點機器學習結合使用時,一些非常壯觀的照片可能來自具有標準配置硬件的手機。
為了幫助處理這些算法,谷歌使用了一種被稱為Pixel Visual Core的專用處理器,這是我們於2017年首次在Pixel 2上看到的芯片。今年看來,谷歌似乎已經用一種稱為Pixel Neural Core的東西代替了Pixel VIsual Core。
據知乎用戶Chenjie Luo介紹,Pixel 1的HDR+是在高通的HVX加速器上跑的,因為HVX不是針對圖像處理設計,所以速度很慢。為了達到快速連拍的用戶體驗,google camera做了一個圖像緩存,把camera sensor的每一幀都存在內存裡,排隊處理HDR。這樣一代的Pixel用戶就不會察覺HDR處理的時間。但是這種處理方式帶來了一個問題:像Instagram這樣的第三方拍照共享的app需要所拍即所得,用戶是不能等好幾秒HDR做完了再p圖分享的。所以在一代上,HDR+是google camera app獨有的功能,不能用在第三方app上。由於這個原因以及老闆的滿腔熱血,就催生了Pixel Visual Core來硬件加速HDR+,這樣第三方的app就可以瞬間完成HDR+計算得到處理後的照片。實測效果驚艷,特別是在高光照對比下前後景都非常清晰,不會出現臉部過暗的照片。這個芯片牛逼的地方就在於8個IPU core是可以編程的,不完全是一個ASIC,所以有很多其他的應用場景。當時設計這個芯片的初衷就是做個全能的圖像處理芯片,HDR+是第一個showcase。
最初的Pixel Visual Core旨在加速Google的HDR +圖像處理使用的算法,這就使得Pixel 2和Pixel 3拍攝的照片看起來很棒。它使用了一些機器學習程序和所謂的計算攝影來智能地填充不太完美的照片部分。而實際上效果也真的很好;它允許帶有現成相機傳感器的手機拍攝的照片質量更優。
如果我們相信Pixel Neural Core,那麼Pixel 4將再一次爭奪智能手機攝影領域的頭把交椅。
神經網絡
看來Google正在使用以神經網絡技術為模型的芯片,以改善其2019年Pixel手部的圖像處理能力。神經網絡是您可能會聽到不止一兩次的內容,但該概念並不經常被解釋。相反,它看起來像是一些類似於魔術的Google級計算機。事實並非如此,而神經網絡背後的想法實際上很容易使您的頭腦很容易混亂。
神經網絡是根據人類大腦建模的算法組。它“效仿”的並不是大腦的外觀甚至工作原理,而是大腦如何處理信息的方法。神經網絡通過所謂的機器感知(通過機器傳感器等外部傳感器收集和傳輸的數據)獲取感官數據,並識別。
這些數據是稱為向量的數字。來自“真實”世界的所有外部數據(包括圖像,聲音和文本)都被轉換為矢量,並被分類和分類為數據集。我們可以將神經網絡視為存儲在計算機或電話上的事物之上的額外層,該層包含有關其含義的數據——它的外觀,聽起來像什麼,它說什麼以及何時發生。建立目錄後,可以對新數據進行分類並與之進行比較。
一個真實的例子可以使這一切解析得更清楚。NVIDIA生產的處理器非常擅長運行神經網絡。該公司花費了大量時間將貓的照片掃描並複製到網絡中,一旦完成,通過神經網絡的計算機集群就可以在其中包含貓的任何照片中識別出貓。小型貓,大型貓,白色貓,印花布貓,甚至山獅或老虎都是貓,這主要是因為神經網絡擁有關於貓“是”什麼的大量數據。
考慮到該示例,我們不難理解Google為什麼要在手機內部利用這種功能。這些能夠與大量數據鏈接的神經核心將能夠識別相機鏡頭所看到的內容,然後決定要做什麼。也許有關其所見和所期望的數據可以傳遞給圖像處理算法。或者,可以將相同的數據輸入給Assistant來識別毛衣或蘋果。或者,也許您可以比Google現在更快,更準確地翻譯書面文本。
毫不費吹灰之力地認為Google可以設計一種可以與神經網絡和電話內的圖像處理器接口的小型芯片,並且很容易理解為什麼要這樣做。我們不確定確切地說是Pixel Neural Core是什麼,或者可能用於什麼用途,但是一旦“正式”發佈時,一旦看到手機及其實際細節,我們肯定會知道更多。