全像圖技術迎來突破- 深度學習用二維照片生成三維照片
研究人員開發出一種新穎的深度學習方法,可簡化全像圖的創建,使三維影像直接從用標準相機拍攝的二維照片中產生。這項技術涉及三個深度神經網路序列,不僅簡化了全像圖生成過程,而且在速度上優於目前的高階圖形處理器。在訓練階段之後,它不需要RGB-D 攝影機等昂貴的設備,因此成本效益很高。這項創新有望應用於高保真三維顯示器和車載全像系統,標誌著全像技術的重大進步。
研究人員提出了一種利用深度學習從二維彩色影像創建三維全像圖的新方法。
全像圖提供了物體的三維(3D)視圖,其細節程度是二維(2D)影像無法比擬的。三維物體逼真、身臨其境的顯示效果使全像圖在醫療成像、製造和虛擬實境等各個領域都具有難以置信的價值。
傳統的全像技術需要記錄物體的三維資料及其與光的相互作用,這個過程需要很高的運算能力,並需要使用專門的相機來捕捉三維影像。這種複雜性限制了全像圖的廣泛應用。
近來,許多用於生成全像圖的深度學習方法也被提出。它們可以直接從使用RGB-D 相機捕獲的三維資料中產生全像圖,該相機可以捕捉物體的顏色和深度資訊。這種方法規避了與傳統方法相關的許多計算挑戰,是一種更容易產生全像圖的方法。
用新方法革新全息技術
現在,千葉大學研究生院工程學研究科的下場友吉教授領導的研究團隊提出了一種基於深度學習的新方法,它可以直接從使用普通相機捕捉的常規2D 彩色圖像生成3D 圖像,從而進一步簡化全像圖生成過程。千葉大學工程研究生院的石井義之和伊藤友義也參與了這項研究,研究成果最近發表在《工程學中的光學與雷射》(Optics and Lasers in Engineering)雜誌上。
下場教授在解釋這項研究背後的原因時說:”在實現全像顯示的過程中存在幾個問題,包括三維數據的獲取、全像圖的計算成本,以及如何轉換全像圖以符合全像顯示設備的特性。我們之所以進行這項研究,是因為我們相信深度學習近年來發展迅速,有可能解決這些問題。”
三階段深度學習過程
所提出的方法採用了三個深度神經網路(DNN),將常規的二維彩色影像轉換成可用於將三維場景或物體顯示為全像圖的資料。第一個DNN 使用普通相機拍攝的彩色影像作為輸入,然後預測相關的深度圖,提供有關影像三維結構的資訊。然後,第二個DNN 利用第一個DNN 創建的原始RGB 影像和深度圖產生全像圖。最後,第三個DNN 會完善第二個DNN 產生的全像圖,使其適合在不同裝置上顯示。
研究人員發現,所提出的方法處理資料和產生全像圖所需的時間優於最先進的圖形處理單元。
“我們的方法另一個值得注意的優點是,最終全像圖的再現影像可以代表自然的三維再現影像。此外,由於在全像圖生成過程中不使用深度訊息,因此這種方法成本低廉,而且在訓練後不需要RGB-D 攝影機等三維成像設備,”下場教授在進一步討論結果時補充道。
未來應用與結論
在不久的將來,這種方法可能會應用於平視顯示器和頭戴式顯示器,以產生高保真三維顯示器。同樣,它還能徹底改變車載全像平視顯示器的生成,使其能夠以三維方式向乘客展示有關人員、道路和標誌的必要資訊。因此,所提出的方法有望為促進無處不在的全息技術的發展鋪平道路。
為研究團隊所取得的這項傑出成就按讚!