麻省理工學院的創新體積映射法可能引導3D形狀測繪的未來
在計算機圖形學和計算機輔助設計(CAD)中,三維物體通常由其外表面的輪廓表示。計算機將這些形狀存儲為”薄殼”,為動畫人物的皮膚輪廓建模,但不包括下面的肉體。這種建模決定使得存儲和操作三維形狀變得有效,但它可能發展出意想不到的人工製品。
例如,一個動畫人物的手在彎曲手指時可能會皺縮–這種運動類似於一個空的橡膠手套的變形方式,而不是充滿骨骼、肌腱和肌肉的手的運動。在開發映射算法時,這些差異尤其成問題,因為映射算法可以自動找到不同形狀之間的關係。
為了解決這些缺陷,麻省理工學院的研究人員開發了一種方法,通過將體積映射到體積,而不是將表面映射到表面來對齊三維形狀。他們的技術將形狀表示為四面體網格,包括三維物體內部的質量。他們的算法決定如何移動和拉伸源形狀中的四面體的角,使其與目標形狀對齊。
因為它包含了體積信息,研究人員的技術能夠更好地對物體的細小部分進行建模,避免了基於表面的映射的典型扭曲和反轉。
“從表面到體積的轉換將橡膠手套延伸到整個手部。我們的方法使幾何映射更接近物理現實,”電氣工程和計算機科學(EECS)研究生Mazdak Abulnaga說,他是關於這種映射技術論文的主要作者。
研究人員的算法特別適合於具有挑戰性的形狀對應問題,例如將光滑的兔子映射到由立方體組成的兔子,如圖所示。
Abulnaga和他的合作者開發的方法能夠比基線方法更有效地對齊形狀,帶來高質量的形狀圖,並且比競爭者的替代方案更少失真。他們的算法特別適合於具有挑戰性的映射問題,其中輸入的形狀在幾何上是不同的,例如將光滑的兔子映射到由立方體組成的樂高式兔子。
該技術在許多圖形應用中都很有用。例如,它可以用來將以前的三維動畫人物的動作轉移到一個新的三維模型或掃描上。同樣的算法可以將紋理、註釋和物理屬性從一個三維形狀轉移到另一個,不僅可以應用於視覺計算,還可以用於計算製造和工程。
與Abulnaga一起撰寫論文的還有Oded Stein,他是麻省理工學院的前博士後,現在在南加州大學任教;Polina Golland,EECS的Sunlin和Priscilla Chou教授,麻省理工學院計算機科學和人工智能實驗室(CSAIL)的主要研究員,以及醫學視覺小組的負責人;Justin Solomon,EECS的副教授,CSAIL幾何數據處理小組的負責人。該研究將在ACM SIGGRAPH會議上發表。
塑造一種算法
Abulnaga開始這個項目時,對基於表面的算法進行了擴展,使其能夠對形狀進行體積映射,但每次嘗試都失敗了,或者產生了令人難以置信的地圖。該團隊很快意識到,需要新的數學和算法來解決體積映射的問題。
大多數映射算法的工作原理是試圖最小化”能量”,它量化了一個形狀在被位移、拉伸、擠壓和剪切到另一個形狀時的變形程度。這些能量通常是從物理學中藉用的,物理學使用類似的方程來模擬明膠等彈性材料的運動。
即使Abulnaga改進了他的映射算法中的能量以更好地模擬體積物理學,該方法也沒有產生有用的匹配。他的團隊意識到這種失敗的一個原因是許多物理能量–以及大多數映射算法–缺乏對稱性。
在新的工作中,對稱方法並不關心形狀以何種順序輸入;映射的”源”和”目標”之間沒有區別。例如,將一匹馬映射到一隻長頸鹿上應該產生與將長頸鹿映射到一匹馬上相同的匹配結果。但是對於許多映射算法來說,選擇錯誤的形狀作為源或目標會導致更糟糕的結果。這種影響在體積測量的情況下甚至更加明顯。
研究人員記錄了大多數映射算法如何不使用對稱的能量。”如果你為你的算法選擇了正確的能量,它可以給你提供更可實現的地圖,”Abulnaga解釋說。
形狀排列中使用的典型能量只被設計為在一個方向上映射。如果研究人員試圖雙向應用這些能量以創建一個對稱的地圖,那麼這些能量的行為就不再是預期的。這些能量在應用於表面和體積時也有不同的表現。
基於這些發現,Abulnaga和他的合作者創建了一個數學框架,研究人員可以用它來觀察不同的能量將如何表現,並確定他們應該選擇哪一種來創建兩個物體之間的對稱圖。利用這個框架,他們建立了一個映射算法,將兩個物體的能量函數結合起來,以保證整個對稱性。
用戶向該算法提供了兩個表示為四面體網格的形狀。然後,該算法計算出兩個雙向的地圖,從一個形狀到另一個形狀,再返回。這些地圖顯示了每個四面體的每個角應該在哪裡移動以匹配形狀。
“能量是這個映射過程的基石。他說:”模型試圖對準兩個形狀,而能量防止它做出意想不到的對準。
實現準確的對準
當研究人員測試他們的方法時,它創建的地圖能更好地對齊形狀對,與其他基於體積的方法相比,質量更高,失真更少。他們還表明,即使只關注外表面的地圖,使用體積信息也能產生更準確的地圖。
然而,在一些情況下,他們的方法也有不足之處。例如,當形狀排列需要大量的體積變化時,例如將一個內部有填充物的形狀映射到一個內部有空腔的形狀,該算法就會陷入困境。
除了解決這一局限性外,研究人員還希望繼續優化該算法,以減少其花費的時間。研究人員還在努力將這種方法擴展到醫療應用中,除了形狀之外,還引入了核磁共振信號。這可以幫助彌合醫學計算機視覺和計算機圖形中使用的映射方法。
加州大學戴維斯分校數學系傑出教授喬爾-哈斯(Joel Haas)說:”對對稱性的理論分析推動了這一算法的發展,並表明對稱形狀比較方法在比較和對齊物體方面往往有更好的性能,”他並沒有參與這項工作。”完全基於表面數據的排列可能會導致體積的坍塌,就像’跑路者’動畫片中的Wile E. Coyote偶爾發生的那樣。一系列的實驗表明,新算法在對齊一對三維物體時,在保持內部一致性方面有顯著的成功。它在整個內部以及邊界上都給出了良好的對應關係”。