研究人員現在可以獲取眼睛反射圖像來對一個房間進行3D建模
神經輻射場(NeRF)技術在將二維圖像和視頻轉化為三維模型方面開始顯示出一些令人難以置信的能力,但是馬里蘭大學的研究人員正在將其能力提升到另一個層次,只使用眼睛的反射。
在現在發表在預印本服務器arXiv上的一項研究中,研究人員展示了他們如何能夠拍攝一個人在房間裡移動的多張高清圖像,然後放大看他們的角膜反射,翻轉它們,去除顏色和虹膜可能增加的細節,處理它們以去除弧形鏡面的失真,並使用它們來創建3D圖像。
當然,這些3D模型的分辨率不是很高;你可以知道這些物品是什麼,但不是很詳細,而且該團隊必須使用特定的燈光來帶出這種效果。
而且很難說誰會需要這種技術,又是為了什麼–就像一個硬塞進去的”碟中諜”類型的場景。
研究人員想出了一個真實世界的場景來嘗試這個裝備:他們放大了麥莉-賽勒斯和Lady Gaga的視頻片段中的眼睛反射,希望利用高質量的特寫視覺和有利的照明情況。但不幸的是,分辨率不夠高,他們最接近的判斷是,麥莉-賽勒斯可能是在看一個照明網格,而Lady Gaga可能是在看一個形狀非常像人的軀幹的物體。
無論哪種方式,這都是對人們能從一個場景中獲得多少信息的一次嘗試。這讓我想起了麻省理工學院在2014年研究的一個瘋狂的想法,他們通過拍攝薯片包的高速視頻,分析其失真,建立一個音頻波形,設法重建一個密封房間裡的一些音頻。