Facebook未來的AR智能眼鏡計劃將涉及智能音頻
據外媒CNET報導,Facebook未來的AR智能眼鏡計劃仍在醞釀之中,但其中一部分可能很快就會對外公佈,那就是智能音頻。空間音頻和增強音頻現實是Facebook積極感興趣的兩個領域,該公司最新的Facebook現實實驗室研究更新詳細介紹了該公司計劃如何製造能夠調出現實世界的設備,並使虛擬對象聽起來就在用戶身邊,即使它們並不真的存在。
Facebook的兩項獨立技術-Audio Presence和Enhanced Hearing,都是該公司試圖破解的音頻難題的一部分。與此同時,更大的增強現實領域仍然是一個懸而未決的格局,包括蘋果、谷歌、微軟、Magic Leap等在內的公司都旨在推動未來十年的創新。
Facebook原本計劃在本月晚些時候即將舉行的Facebook Connect大會上進行演示。但由於新冠大流行導致的社交距離問題,記者卻在與Facebook Reality Labs研究負責人Michael Abrash和一個音頻研究團隊的聊天中得到了虛擬的介紹。
智能音頻AR並是全新的:Bose在今年早些時候其AR音頻部門明顯被關閉之前,已經嘗試了多年。蘋果的AirPods Pro擁有主動降噪和直通功能,並將在今年秋天加入3D空間音頻支持。空間音頻已經是現實VR的關鍵功能,但Facebook的下一波計劃更注重對話、注意力和音頻的保真度,包括在一些地方3D放置隱形揚聲器,讓人覺得它們就在同一個房間裡。Abrash說:“對我來說,最了不起的是,一切(關於Facebook新音頻技術)在合理的時間內是絕對可行的。”
根據Abrash的說法,這項音頻技術最終有可能出現在Oculus Quest等VR頭盔上,甚至是其他Facebook設備上。
Facebook目前一直在進行的使用空間音頻的實驗涉及到使用一個消聲室和一個帶有揚聲器陣列的機械臂來包圍一個人,並為他們的耳朵計算特定的空間音頻幾何形狀,這需要30分鐘,所以它還很難便攜。下一步將是把這個過程縮小到拍攝耳朵的照片來獲得這個測量結果(Facebook稱之為頭部相關轉移功能,或HRTF)。Facebook一直以來用來測試測量後的音頻的設置,更像是帶有音頻播放和聚焦麥克風的眼鏡,還沒有視覺元素。
Facebook Reality Lab Research的音頻小組也希望讓這種音頻技術成為輔助性的技術,在過濾背景噪音,或者其他人說話的同時,傾聽和增強對話,提高語音的清晰度。
Facebook的一些3D音頻和音頻感應超能力的概念,讓CNET記者Scott Stein 想起了多年前在多普勒實驗室嘗試的工作,在其Here One耳塞上的各種環境噪音過濾器。Facebook的研究使用波束成形來聚焦音頻,也使用了測試者佩戴的空間感知原型,這些原型有定向麥克風。該公司已經製作了一個定制的入耳式顯示器來創建這種音頻,目的是最終將這種技術構建到未來的產品中。
Facebook還沒有明確說明這個過程,但該公司週四發表的一篇博客文章承諾,這種未來的音頻可以作用於導航AR優化的Live地圖,而Facebook目前正在組裝空間地圖世界。Abrash承諾,該公司在空間音頻方面的進展已經產生了逼真的3D音頻,看起來像是來自真實世界,而不是來自耳機,但目前的研究涉及到復雜的耳朵掃描和一個特定的、空間映射的房間。該公司正在努力開發算法,有可能在家裡用簡單的攝像頭耳部掃描就能工作,讓這項技術更容易獲得。