目前機器人相關研究主要是設計機械臂來抓住特定形狀的物體，但是很少有抓住可變形狀物體(deformable objects)的相關研究。在變形物體操作中的一個難點是無法知道這個物體內部的參數，例如，對於一個剛性立方體，知道一個固定點相對於其中心的位置足以描述它在三維空間中的形狀，但是對一個柔軟的物體如絲綢來說，布面上的一個點可以在其他部分移動時保持固定。

這使得感知算法難以描述織物的完整“狀態”，特別是在遮擋的情況下。

此外，即使有一個被充分描述的可變形物體，其動力學也是複雜的。這使得在對可變形物體進行某種操作之後，很難預測其未來的狀態，通常需要多步(multi-step)規劃來達到目標狀態。

在ICRA 2021會議上，Google 發布了一個名為deformaleravens 的開源模擬基準，對可變形物體操作的研究有極大促進作用。

論文中共設計了12個任務，包括操作電纜、織物和包，還包括一系列模型架構，用於操縱可變形物體，使其達到預期的目標狀態。

這些模型架構也能夠讓機器人重新排列電線來達到目標狀態，平滑地使非鋼體如織物達到指定形狀，或是將物品放入袋子中。

這是第一個包含特定任務的模擬器，在這個任務中機器人必須使用一個袋子來容納其他物品，這對機器人學習更複雜的相對空間關係提出了關鍵的挑戰。

DeformableRavens 基準數據集

Deformaleravens 擴展了之前Google對重排列對象(rearranging objects)的工作，包括一套12個模擬任務，覆蓋一維、二維和三維可變形結構。每個任務都包含一個模擬的UR5手臂和一個用於捏握的模擬夾鉗，並與腳本演示器捆綁在一起，自動收集用於模仿學習的數據。任務隨機化分佈中項的起始狀態，以測試不同對象配置的一般性。

UR5 是一款輕量級、可適應的協作式工業機器人，具有極高的靈活性，可處理中型應用程序。UR5e 的設計是為了無縫集成到廣泛的應用程序。UR5e 也提供OEM 機器人系統，並帶有三向示教器（3-position teach pendant）。

為操作任務指定目標對於可變形物體尤其具有挑戰性。考慮到它們複雜的動力學和高維配置空間，目標不能像一組剛性物體姿勢那樣容易確定，並且可能涉及復雜的相對空間關係，比如“將物品放入袋子”。

因此，除了通過分發腳本示範定義的任務之外，我們的基準還包含由目標映像指定的目標條件化任務。對於受目標限制的任務，給定的對象起始配置必須與一個單獨的image配對，該映像顯示相同對象的所需配置。這種特殊情況的成功取決於機器人是否能夠使當前的配置足夠接近目標圖像中傳達的配置。

Goal-Conditioned Transporter Networks 是一個為了補充模擬基準測試中的目標條件化任務，而將目標條件化集成到Google之前發布過的Transporter Network 架構中，這是一個以行動為中心的模型架構，它通過重新排列深層特徵來從視覺輸入推斷空間位移，很好地適用於剛性對像操作。

該體系結構以當前環境的圖像和目標圖像作為輸入，計算這兩個圖像的深度視覺特徵，然後利用元素乘法結合特徵，對場景中的剛性和可變形物體進行相關處理。Transporter 網絡結構的一個優點是它保留了視覺圖像的空間結構，提供了歸納偏差，將基於圖像的目標條件化為一個更簡單的特徵匹配問題，並利用卷積網絡提高了學習效率。

一個涉及目標條件的實例任務如，為了將綠色塊放入黃色袋子中，機器人需要學習空間特性，使其能夠執行一系列多步驟的動作，以打開黃色袋子的頂部開口，然後將塊放入其中。在它把方塊放入黃色袋子之後，則成功結束。如果在目標圖像中塊被放在藍色袋子中，則需要把塊放在藍色袋子中。

結果表明，Goal-Conditioned Transporter Networks 使agent可以操縱變形結構到靈活指定的配置，而不需要測試時間的視覺錨目標位置。我們還通過在2D 和3D 變形體任務上進行測試，顯著擴展了使用Transporter Networks 操縱變形物體的先前成果。實驗結果進一步表明，該方法比傳統的基於地面真實位姿和頂點位置的方法具有更高的抽樣效率。

例如所學習的策略可以有效地模擬裝袋任務，還提供目標圖像以便機器人必須推斷應該將物品放入哪個袋子。

未來這項工作還有幾個可擴展的目標，例如減少觀察到的失敗模式。例如當機器人拉袋子向上，並導致抓著的東西掉下去時，就失敗了。

另一種情況是，機器人將物品放置在包的不規則外表面，導致物品脫落。未來的算法改進可能允許動作以更高的頻率運行，這樣機器人可以實時作出反應來抵消這些可能的失敗情況。

另一個發展領域是使用不需要專家演示的技術來訓練基於Transporter network 的可變形物體操作模型，比如基於實例的控製或基於模型的強化學習。