蘋果正在開發動態Apple Glass 音頻和AR圖像融合軟件
像經常被傳聞的蘋果眼鏡智能眼鏡或增強現實或虛擬現實頭顯這樣的項目,必須依靠為用戶提供令人信服的視覺效果和足夠的音頻來實現完全的沉浸感。然而,這兩種元素都提供了自己獨特的問題,生產頭戴式顯示器的公司必須克服。對於音頻來說,AR和智能眼鏡的音頻需求和VR的音頻需求有天壤之別。前者可能希望音頻有限,並且還能聽到其他環境的聲音,而VR的使用通常是依靠屏蔽外部聲音,只留下虛擬世界的音頻。目前的頭戴式頭顯可以實現這一點,但那些內置音頻系統的頭戴式頭顯通常不能提供用戶想要的靈活性。
在美國專利和商標局週二授予的一項名為”具有多模態音頻的顯示設備”的專利中,蘋果描述了帶有音頻組件的頭戴式視覺系統,該組件可以在頭顯的支撐結構上的不同位置之間轉換。因此,蘋果AR眼鏡或VR頭顯可能包括一個可切換的音頻系統,可以提供一系列不同的聽覺模式,同時還加入了一個可以將現實世界的景象與虛擬圖像平滑地高速融合的系統。蘋果提出,音頻系統可以在耳外模式和耳內模式之間切換,前者是將活動式頭顯係統的揚聲器放在離耳朵一小段距離的地方使用,後者是將揚聲器放在耳道內。在耳外模式下,系統將使外部聲音能夠被更清晰地聽到,而第二個版本將更多地阻礙環境聲音被用戶聽到。
在模式之間的切換,蘋果建議在每個頭顯中使用一個驅動器,可以改變它通過不同端口投射聲音的方式,以匹配兩種不同的位置。這包括根據是否靠近耳朵來調整低音單元的功率水平,甚至是一個可切換的物理元件,可以改變聲音的運動。聲音產生模塊將使用一個樞軸上的短臂,離樞軸最遠的點包含用於放置在耳朵裡的元件。根據它的樞軸方式,該裝置要么通過一種方法將音頻送入耳朵,要么使用另一種方法進行聽外音,並自動進行改變。除了樞軸,蘋果公司還表示,該音頻元件可能還能夠向耳朵傾斜和遠離耳朵,以方便放置,並可能包括一個伸縮部分。
在第二項專利中,蘋果試圖解決AR頭顯如何在現實世界的視頻源上呈現虛擬物體,並結合現實世界的攝像頭數據和數字製作的版本為用戶即時執行。由於這需要準確而快速地執行,這樣的過程可能需要大量的計算資源來完成,以達到高標準。在名為”結合真實和虛擬圖像的方法和設備”的專利中,蘋果提出了一種系統可以用盡可能少的資源來計算混合後的虛擬圖像的方法。
對於該系統,專利中提到了攝像頭的進樣可以為”真實像素”創建一系列的數值,而這些數值以”虛擬像素”的形式存在於其虛擬對應物中。每一個都有自己的像素值,用來進行計算,以確定應該使用什麼最終像素值並顯示給用戶。兩個像素值可以合併成一個值,這個值可以基於真實像素值和虛擬像素值之間的加權平均值。蘋果公司估計,加權可以部分地根據真實或虛擬像素的alpha或透明度值來確定。確定真實像素的alpha值,可以通過對完整的相機圖像進行下採樣,根據相機圖像創建一個模板,並根據下採樣圖像和模板生成一個消光參數矩陣。該消光參數圖像可以進行上採樣,進而可以創建兩個像素值可以合併成一個值,這個alpha值也可以用來為一個特定的像素創建顏色組件像素值,使各個顏色能夠混合,而不是整個像素值本身。通過使用該技術,人們認為將圖像傳輸到顯示屏所需的帶寬可以”少於”單獨由攝像頭產生的數據的十分之一。
蘋果每週都會提交大量的專利申請,但雖然專利的存在表明了該公司研發工作感興趣的領域,但並不能保證這些概念會出現在未來的產品或服務中。