當你可以即時編輯你所看到的東西時 為什麼要看現實?
增強現實技術的採用正在緩慢但穩步地進行,而且很容易看到該技術的一個可能的未來:讓你即時編輯你所看到的東西的硬體,用虛擬覆蓋物取代你周圍的物體。 更準確地說,這叫混合現實。 保時捷的人工智慧團隊最近的研究顯示了這可能的運作方式。 該團隊建立了一個被稱為TransforMR的人工智慧系統,該系統可以檢測汽車和人等物體,將其移除,然後即時用CGI替代物取代它們。
最終的結果很難說是完美的(CGI模型看起來像是從3D Movie Maker中借來的),但這個概念是引人注目的。 不難想像,在未來的幾十年裡,這樣的應用會變得很普遍。
這項工作背後的團隊表示,儘管他們工作中的個別元素之前已經完成,但復合系統還是非常新穎的。 TansforMR可以在普通的智能手機和平板電腦上運行,但需要一個4G連接來將數據發送到雲端。 圖像經過處理后,物體不只是被掩蓋,就像Snapchat的AR鏡頭或蘋果的Memoji一樣,而是完全被編輯掉。 物體被檢測、分割,然後被「塗抹」(用人工智慧生成的背景取代),並以CGI模型代替原始模型。 顯然這一系統有很多地方需要改進。 在低質量的繪畫中,幀率只有15fps;滯後時間為50至100毫秒;CGI替換的品質也不是最好的。 但是,該系統背後的團隊說,這些方面相對容易改進。
保時捷的機器學習研究員穆罕默德-卡里(Mohamed Kari)表示,主要的限制來自於大型圖像的計算量非常大,所以對於繪畫,目前只能用非常小的圖像來做,在512 x 512的圖像上操作。 但頻寬[使用]是可以忽略不計的。 這意味著如果能做FaceTime,你就能做TransforMR。
Kari說,該系統的關鍵要素之一是它對姿勢檢測的使用。 這意味著,例如,當系統檢測到一個人時,它會識別出身體的18個獨立關節。 這意味著CGI替換可以即時固定在目標的運動上。 看看TransforMR的操作片段,不難想像這種軟體被整合到AR眼鏡中。 使用者可以為他們的一天選擇一個”主題”,用科幻的替代品或來自大自然的物品來取代汽車、建築和人。 但是,這將涉及一個巨大的硬體挑戰。 目前的增強現實眼鏡只能在鏡片上投射出低解析度、半透明的覆蓋物。 現在,我們還沒有技術來”編輯”使用者在這種硬體上看到的東西。 (儘管這可以通過”穿透式”VR系統來實現,在該系統中,第一人稱攝像機將實時視頻傳輸到完全遮擋住佩戴者視線的螢幕上。 )
“我們在螢幕上重現完整的圖像,所以我們可以刪除任何我們想刪除的東西,但對於增強現實眼鏡來說,刪除物體是困難的,因為它增加了光強度,以Hololens為例,你是透過玻璃看的,所以去除東西更困難。 這個問題有待於研究。 “
但為什麼保時捷首先要調查這種技術呢? 據該公司的人工智慧架構師之一Tobias Grosse-Puppendahl說,這一切都是為了改善乘客和司機的體驗。 未來版本的TransforMR軟體可以用來在人們被困在交通中時為他們提供娛樂。 “我們的主要問題是,我們如何能夠以一種有趣和娛樂的方式來修改現實,以便作出反應? 這就是我們想法的起源」。
保時捷的其他研究專案也遵循類似的主題。 例如,該公司還建立了一個名為SoundRide的原型系統,它使用汽車的機器視覺來檢測風景的變化並提示適當的音樂。 “也許,例如,你正開車穿過阿爾卑斯山,行駛在一條美麗的路線上,突然你有一個美妙的景色,也許音樂就會改變,我們正在思考如何通過技術使車內的體驗更加有趣和美麗”。 而這意味著對人們本來會看到和聽到的東西進行修補。 “