Meta的新技術可能會改變MR行業的未來
蘋果Vision Pro 會是未來嗎?放在今天依然是一個極具爭議的問題,甚至在Vision Pro 正式推出發售之後,可能也很難達成共識。另一個毫無疑問的現實是,不管是VR、AR 還是MR,XR 頭顯還有很多需要攻克的技術和工程難題。就說如今,頭顯稍一用久容易頭暈的問題還是存在,這就涉及到了方方面面的問題,包括屏幕分辨率、延遲、亮度以及焦距等,本質上還是大腦不覺得畫面足夠“真實”。
雖然蘋果CEO 庫克在發布Vision Pro 時將其譽為開啟空間計算時代的“革命性產品”,但實際上Vision Pro 也不是很“空間”,至少還無法調節焦距,用戶看到的畫面始終聚焦在一個固定的焦距處,容易導致眼睛疲勞。
不過就在8 月6 日開始的計算機圖形學頂級年度會議SIGGRAPH 2023 上,Meta 就展示了兩台原型頭顯—— Butterscotch Varifocal 與Flamera。當然,我們與其將這兩台頭顯視為產品原型,不如看成Meta 正在探索的兩種技術的展示。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/0824/f2db13a12505cbf.webp?w=640&ssl=1)
Butterscotch Varifocal 與Flamera,圖/Meta
值得在意的是,Butterscotch Varifocal 將展示接近視網膜的分辨率和變焦光學器件,而Flamera 則證明了一種實現“透視”真實世界的全新方法。
儘管Meta 表示這些原型頭顯上的是技術“可能永遠不會進入消費級產品”,但或許也會通向VR、MR 乃至AR 的未來。
01
從25cm 到無限遠
真正的“空間”
SIGGRAPH 對大眾來說可能名聲不顯,但卻是計算機圖形學的頂會,除了論文、學術界與產業界的合作交流,每年都會有研究團隊在會上展示計算機圖形硬件和軟件方面的突破。
去年的SIGGRAPH 大會上,Meta 就展示了一款HDR 頭顯原型Starburst,峰值亮度達到了驚人的20000 nit。作為比較,蘋果Vision Pro 的峰值亮度傳聞達到了5000 nit,其HDR 顯示效果已經讓一眾體驗者相當驚艷。
然而相比Starburst 上的超高亮度,今年兩個頭顯原型上的技術還是更讓人在意一些。
對頭顯有一定了解的讀者應該都知道一個參數——PPD(角分辨率,即視場角中每度的像素數),類似於手機上我們常說的PPI(每英寸像素),關乎實際入眼畫面的精細程度。總而言之,如果說手機屏幕的PPI 達到326 以後就能稱為“視網膜級”,那在頭顯產品的屏幕上,一般認為PPD 要達到60 才能達到“視網膜級”的視覺效果。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/0824/53f0c66c9db5480.webp?w=640&ssl=1)
Vision Pro 和庫克,圖/蘋果
但在現實中,即便是搭載索尼單眼4K(雙眼8K)Micro OLED屏幕的Vision Pro,參照Meta Quest Pro(22 PPD)進行估算,距離60 PPD 也還有一定的差距。
蘋果官方宣稱Vision Pro 屏幕共有2300 萬像素(雙眼),是Meta Quest Pro 屏幕像素的三倍多,但具體到每度視場角看到像素數,即PPD,倍數肯定要小於分辨率的倍數,技術社區Hacknews 上有人計算得出Vision Pro 應該在34 PPD 左右。
而Butterscotch Varifocal 在上一代原型機的基礎上,不僅擴大了視場角,說是也實現了視網膜級別顯示的60 PPD,但要如何實現如此高像素密度的顯示屏幕以及算力驅動,目前還不得而知。
同時還有一個對業界來說可能更加重要的技術——變焦。
包括Vision Pro 在內,目前所有已知的頭顯的畫面都是固定焦距(通常是1m),屏幕光線沒有深度信息,輻輳和調焦的位置發生了分離,從而產生視覺輻輳調節衝突(VAC 問題),引發視覺疲勞、暈眩等問題。
與之相對,實現變焦可以讓VR 體驗變得更加真實,視覺上的使用感受也會更舒服。而從Meta 放出的視頻來看,Butterscotch Varifocal 顯然是加入了變焦電機,再配合眼動追踪技術,實現了25cm 到無限遠的自動變焦調節。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/0824/6ba7819868d67e1.gif?w=640&ssl=1)
變焦電機,圖/Meta
事實上,不少廠商都嘗試在頭顯設備中實現動態變焦的效果,至少從2019 年開始,蘋果就一直在探索動態變焦顯示技術,其中一種方向就是多透鏡的Pancake 方案,通過調整透鏡折射率來調節焦距。早前傳聞中Vision Pro 就會採用這項技術,但目前來看並沒有用上。
至於即將展出的另一台頭顯原型Flamera,則是在目前主流的彩色透視方案外,開闢了一條新的技術路線。
02
彩色透視的未來
一定要大算力?
眾所周知,Vision Pro 和Quest Pro 都是通過對外的攝像頭拍攝真實世界,再將畫面“拼接”顯示在內側屏幕上,實現用戶戴著頭顯也能看到周圍環境,甚至實現AR 體驗。
說起來容易,實現難度極高,Quest Pro 全彩透視的糟糕體驗就曾被近眼顯示專家Karl Guttag 炮轟。Vision Pro 目前來看完成度要比前者更高,此前雷科技的文章中,我們就綜合了國內外體驗者的說法:
“雖然與人眼觀看真實世界還有明顯差距,但Vision Pro 不仔細看已經非常接近了,轉頭也感受不到明顯的延遲。”
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/0824/f154350c74f1d4c.webp?w=640&ssl=1)
圖/蘋果
唯一的問題是,不管是蘋果宣傳視頻中的人物,還是首批體驗的媒體和博主,基本都是在固定位置上體驗Vision Pro,只能證明Vision Pro 在靜態下已經有了足夠優秀的表現。但當人走動起來,一切計算都會變得更難、更複雜。
這也引出了目前主流方案的問題,由於這些攝像頭與用戶真正的眼睛位置不同,必須使用圖像處理算法以及大量算力來重新“拼接”攝像頭拍到的畫面,然後顯示到屏幕上。這個過程會增加延遲,還會導致視覺偽影。
Flamera 則是想通過一種全新的光學設計,直接捕捉與肉眼看到相同的光線。
“通過從頭開始設計頭顯,而不是修改現有設計,我們最終得到了看起來非常獨特的設計,但可以實現更好的圖像質量和更低的延遲。”Meta 科學家Grace Kuo 說。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/0824/473ddf2b6478e82.webp?w=640&ssl=1)
Flamera,圖/Meta
按照Meta 公佈的工作原理,Flamera 與傳統光場攝像頭不同,在陣列中每個透鏡後面都放置了一個孔徑(相當於光圈)。這些孔徑物理上阻擋了不必要的光線,只有需要的光線能夠到達眼睛,同時將有限的傳感器像素集中在光場的相關部分,從而產生更高分辨率的圖像。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/0824/d8dfb16cfa63e16.webp?w=640&ssl=1)
工作原理,圖/Meta
最後,原始傳感器數據最終看起來像小圓點,每個圓點只包含頭顯外部物理世界“視圖”的一部分。Flamera 將進行重新排列,估計一個粗略的深度圖,實現基於深度的圖像重建。
得益於此,Flamera 理論上可以實現更低的延遲和更少偽影的透視效果。換句話說,通過頭顯看到的畫面更接近真實的物理世界,實現更好的MR 體驗。
03
寫在最後
Butterscotch Varifocal、Flamera 上的技術會改變頭顯的技術路線嗎?眼下可能都還很難判斷。
就像前文所提,Meta 也明白,這兩台頭顯原型更多是承擔了技術展示的需求,距離解決工程實現問題和量產還有很長的路。
同時Meta 也沒有“把雞蛋放在一個籃子裡”。並沒有跡象表明要專注在變焦電機與無重投影的技術路線上,變焦電機的機械式方向始終存在可靠性方面的問題,不僅是面向消費者需要得到足夠的信任,在量產環節上可能也要面對更大的挑戰。
在此之前,已經有太多消費電子產品證明了“機械” 這條路上的坑,比如全面屏進程中的升降式鏡頭。
倒是無重投影確實給MR 提供了一種很新的思路,可以避開對算力的高要求,同時減少延遲和視覺偽影。懸念在於實現的難度和效果,這可能就需要等到日後才能見分曉了。