今天，會做一大桌子菜的史丹佛機器人Mobile ALOHA刷屏全網。滑蛋蝦仁、乾貝燒雞、蠔油生菜，色香味俱全，看起來很誘人。

就拿滑蛋蝦仁這道菜來說，Mobile ALOHA在燒水的過程中先打上3顆雞蛋，然後把蝦仁放到水中焯熟，平底鍋倒入雞蛋液再加入蝦仁，攪拌幾下，一道菜完成了。

再看乾貝燒雞的製作過程。

首先，將去骨雞腿肉煎至兩面金黃，再加入乾貝等調味料之後，悶個20分鐘即可。

最後擺盤時，再撒上一小撮蔥花，完美。

至於蠔油生菜，機器人「主廚」的基操也是非常熟練。

甚至，還能切蒜末。

網友看後紛紛表示，我們簡直活在未來！用不了多久速食店做漢堡的工作要全面被機器人取代！

就連Pytorch之父稱讚道，很酷的新家機器人平台，很高興看到更多的工作在這個方向上！

這個由史丹佛三人團隊研發的全新移動機器人Mobile ALOHA，可以透過模仿學習，執行各種複雜的任務。

它不僅可以自主操作，還可以支援全身遠端操控。

值得一提的是，機器人的成本僅32,000美元（約22萬），甚至軟體和硬體全部開源。

論文地址：https://mobile-aloha.github.io/resources/mobile-aloha.pdf

研究人員每個任務只用了50個演示，便讓Mobile ALOHA機器人始終如一地做一件事，例如連續9次擦拭灑在桌子上的葡萄酒，連續5次乘坐電梯。

它還可以在受干擾的情況下，把鍋子放入碗櫃。即便是訓練資料中看不到的椅子，也能夠擺正。

50個示範如何就讓機器人擁有如此強大的學習能力？

作者解釋關鍵在於，利用靜態ALOHA資料共同訓練模仿學習演算法。這能持續提高效能，尤其是在需要精確操作的任務中。

再來看一波Mobile ALOHA酷炫的示範吧！

清洗平底鍋：

和人擊掌：

炒蝦仁：

此外，還可以遙控Mobile ALOHA完成一些更精細的工作。例如把紙抽出來擦玻璃。以及用笤帚掃地等等。

機器人元年強勢開局

2024年還沒到來之前，許多大佬都在預測機器人便是今年除了大模型，另一個重要的研究領域。

沒錯，2024年將會是機器人元年。

一般來說，開發通用機器人一個非常有前途的方法是，從人類提供的演示中進行模仿學習。

這個「行為複製」可以讓機器人學習各種原始的技能，從簡單的拾放操作，到更精細的操作等等。

然而，現實生活中許多任務，都需要全身協調的機動性，以及靈巧操作，而非單獨的移動或操作行為。

在這篇論文中，作者研究了將「模仿學習」擴展到需要雙臂移動機器人全身控制的任務可行性。

目前，有兩個主要因素阻礙了「模仿學習」在雙臂機器人移動操作中的廣泛應用。

一是，缺乏即插即用的「全身遠端操控硬體」。

如果購買現成的，雙臂移動操作器成本會很高，例如PR2和TIAGo這樣的機器人價​​格超過20萬美元。為了在這些平台上實現遠端操控，額外的硬體和校準也是必要的

二是，先前的機器人學習研究中，尚未證明對於複雜任務的高效能雙臂移動操作。

在本文中，研究人員試圖解決將「模仿學習」應用於雙臂移動操作的挑戰。

在硬體方面，作者引入了機器人Mobile ALOHA，一個低成本的全身遙操作系統，用於收集雙臂移動操作數據。

透過將其安裝在輪式底座上，Mobile ALOHA擴展了原始ALOHA的能力，即低成本且靈巧的雙人木偶操縱設定。

然後，使用者將身體栓在系統上，反向驅動輪子，以便底座移動。

當使用者雙手控制ALOHA時，底座可以獨立移動。研究人員同時記錄底座速度數據和手臂操縱數據，形成全身遠端操控系統。

成本只要3萬刀

值得一提的是，史丹佛團隊在打造Mobile ALOHA的所有成本僅用了3萬美元。

在具體的機器人設計中，它們綜合考慮了四個關鍵的因素：

– 移動：系統的移動速度可與人類行走的速度相媲美，大約每秒1.42公尺。

– 穩定性：當操作重型家用物品，如鍋子和櫥櫃時，能夠保持穩定。

– 全身遠端操控：所有自由度都可以同時遙操作，包括手臂和移動底座。

– 不受束縛：機載電源和計算

如下圖所示，可以清楚看到Mobile ALOHA的技術規格。

Mobile ALOHA有2個腕部攝像頭，和1個頂部攝像頭，並配有機上電源和計算。

另外，遠端操作裝置可以拆除，Mobile ALOHA自主執行時只使用2個ViperX 300。兩隻手臂的最低/最高高度分別為65厘米/200厘米，並從底座伸出100厘米。

研究人員選擇AgileX Tracer AGV（Tracer）作為了移動底座，這是一個專為倉庫物流設計的。

其移動速度可達1.6m/s，接近人類的平均步行速度。它的最大有效載荷為100公斤，高度為17毫米。

值得一提的是，Tracer在美的售價為7000美元，比同等速度和有效載荷的Clearpath的AGV便宜5倍以上。

然後，研究人員試圖在Tracer移動底座和ALOHA機械臂的基礎上設計全身遠端操控系統，即一個可以同時控制底座和兩個機械手臂的遠端操控系統。

而將操作員的腰部綁在移動底座上的設計是最簡單直接的解決方案，這樣可以反向驅動車輪，而車輪在扭力關閉時摩擦力非常小。

為了改善人體工學和擴大工作空間，團隊也安裝了4個ALOHA手臂都面向前，不同於原面向內的ALOHA手臂。

此外，為了讓Mobile ALOHA不受束縛，作者在底部配置了1.26千瓦時重14公斤的電池。同時還可以起到平衡作用，避免翻到。

在資料收集和推理過程中的所有計算都在一台消費級筆記型電腦上進行，該筆記型電腦配有NVIDIA 3070ti GPU （8gb VRAM）和Intel i7-12800H。

以上便是Mobile ALOHA設計的重要組件。

一些開發細節

材料價格一覽

有興趣的小夥伴可以查看他們的官方文件：https://docs.google.com/document/d/1_3yhWjodSNNYlpxkRCPIlvIAaQ76Nqk2wsqhnEVM6Dc/edit

協同學習，提升「模仿學習」表現

硬體得到了，接下來便是使用資料進行協同訓練。

論文中，研究人員使用一個協同訓練管道，利用現有的靜態ALOHA資料集，以改善模仿學習在移動操作，特別是雙手臂操作的表現。

靜態ALOHA資料集總共有825個示範任務，包括密封袋、拿起叉子、包裝糖果、撕紙巾、打開帶蓋塑膠杯、玩乒乓球、使用咖啡機、翻轉鉛筆、固定魔鬼氈電纜、裝上電池和操作螺絲起子。

然後，研究人員選擇了7個任務，讓Mobile ALOHA去完成。

對於機器人需要清理灑在桌上紅酒的任務，需要機動性和雙手靈活性。

具體來說，機器人需要先導航到水龍頭，拿起毛巾，然後導航回到桌子。

然後一隻手臂舉起酒杯，另一隻手臂需要用毛巾擦拭桌子和杯底。這個任務在靜態ALOHA中是不可能完成的，單臂移動機器人需要更多的時間來完成。

對於炒蝦仁來說，機器人需要將一個生蝦兩面煎熟，然後把它放進碗裡。

機動性和雙手靈活性也是這項任務的必要條件：機器人需要從爐台移動到廚房台，用鏟子翻動蝦仁，而另一隻手臂還需傾斜平底鍋。

這項任務要求比擦酒精度更高，因為翻轉半熟的蝦子需要更高的精準度。

同樣，對於清洗平底鍋、收納鍋、搭乘電梯、推椅子、擊掌的任務，Mobile ALOHA也能熟練地完成。

下圖是機器人在執行任務時的導航移動軌跡。
50個演示，80%+成功率

實驗評估中，研究者主要為了回答兩個核心問題：

（1） 透過協同訓練和少量行動操作數據，Mobile ALOHA能否掌握複雜的行動操作技能？

（2）Mobile ALOHA能否使用不同類型的模仿學習方法，包括ACT、擴散策略和基於檢索的VINN？

研究發現，協同訓練可以提升ACT表現。在7項具有挑戰性的行動操作任務中，與靜態ALOHA資料集進行協同訓練可持續提高ACT的成功率。

這對於搭乘電梯時需要按鍵、清洗鍋子時需要打開水龍頭，等子任務尤其重要，因為在這些任務中，精確操作就是瓶頸所在。

另外，Mobile ALOHA與「模仿學習」方法相容。

帶有分塊的VINN、擴散策略和ACT在Mobile ALOHA上都取得了良好的性能，並且受益於與靜態ALOHA的協同訓練。

協同訓練針對不同資料組合，其表現也非常穩健。如下是使用ACT進​​行擦拭酒的任務訓練後的成功率。

協同訓練和預訓練效果比較如下。協同訓練在擦拭酒的任務中的表現，成功率95%，大大優於預訓練的成功率40%。

另外，使用者使用Mobile ALOHA遠端操控未見過的任務時，可以快速接近專家級速度。

總而言之，僅用32,000美元的預算，透過靜態ALOHA資料協同訓練的模仿學習，Mobile ALOHA只需要20-50個簡報就能學會各種複雜的任務。

史丹佛Mobile ALOHA向所有人展示了機器人在各種應用場景的潛力，甚至機器人開源實現了人人可復刻。

網友表示，機器人學是一項既需要硬體又需要演算法的系統研究。我猜在2024年，我們將在現實世界中看到越來越多的機器人。

作者介紹

Zipeng Fu（專案共同負責人）

Zipeng Fu是史丹佛大學AI實驗室的電腦科學博士生，導師是Chelsea Finn。同時也在Google DeepMind擔任學生研究員，與Jie Tan合作。

在此之前，他在卡內基美隆大學（CMU）攻讀機器學習領域的碩士學位，並在機器人學院（Robotics Institute）擔任學生研究員，導師是Deepak Pathak和Jitendra Malik。

他在加州大學洛杉磯分校（UCLA）獲得了電腦科學與應用數學的學士學位，導師是Song-Chun Zhu。

他的研究興趣集中在機器人學、機器學習和電腦視覺的交會處。並致力於研究在複雜多變的開放世界中實現穩定性能和可實際部署的機器人系統。

他的研究得到史丹佛研究生獎學金的支持，並且也是Pierre和Christine Lamond獎學金的得主。

Tony Z. Zhao（計畫共同負責人）

Tony Z. Zhao是史丹佛大學的電腦科學博士生，指導教授是Chelsea Finn。同時也在Google DeepMind擔任兼職研究助理。

在此之前，他於2021年在加州大學柏克萊分校（UCB）獲得了電子與電腦科學（EECS）學士學位，導師是Sergey Levine和Dan Klein。並曾在特斯拉Autopilot和GoogleX Intrinsic實習。

他的目標是使機器人能夠完成複雜而精細的操控任務。

Chelsea Finn

Chelsea Finn是史丹佛大學電腦科學與電機工程的助理教授。研究興趣是機器人及其他智能體能夠透過學習和互動來展現的智能行為。

她的實驗室IRIS致力於透過大規模的機器人互動研究智能，並且是SAIL和ML Group的合作實驗室。同時，她也在Google Brain團隊擔任研究工作。

此前，她在加州大學柏克萊分校（UCB）獲得了電腦科學博士學位，並在麻省理工學院（MIT）取得了電機工程與電腦科學的學士學位。