資深機器人專家Eric Jang 不久前曾預言：「ChatGPT 曾在一夜之間出現。我認為，有智慧的機器人技術也將如此。」他或許說對了。北京時間3 月13 日深夜，一段人形機器人的影片開始在X 上熱傳。之前從未展示過機器人方向能力的OpenAI，在與投資公司的人形機器人的合作中，第一次展現了自己的機器人智慧能力。

Figure，OpenAI 投資的機器人公司，上傳了這段影片。在影片中，Figure 的人形機器人，可以完全與人類流暢對話，理解人類的意圖，同時也能理解人的自然語言指令進行抓取和放置，並解釋自己為什麼這麼做。

而背後，就是OpenAI 為其配置的智慧大腦。

在過去一年的具身智能進展中，或許你曾經看過類似的機器人自主決策、拿取物品的展示，但在這段影片中，Figure 人形機器人的對話流暢度、展現出的智能感，接近人類操作速度的動作流暢性，絕對都是第一流的。

Figure 也刻意強調，整段影片沒有任何加速，也沒有任何剪輯，是一鏡到底拍攝的。同時，機器人是在完全自主的情況下進行的行為，沒有任何遠程操縱——似乎在暗暗諷刺前段時間爆火的展現了酷炫機械能力，但是沒有太多智能程度的斯坦福炒菜機器人。

比起機器人的智慧表現，更可謙的是，這只是OpenAI 小試牛刀的結果——從OpenAI 宣布與Figure 共同合作推進人形機器人領域的前沿，到這個視頻的發布，只有短短的十三天。

這次Figure 人形機器人背後的智能，來自端到端的大語言-視覺模型，這是具身智能領域目前非常前沿的領域。去年極客公園報道Google在類似領域的進展。Google做出的端到端機器人控制模型，被一些產業內的人士，譽為機器人大模型的GPT-3 時刻。

而當時，Google的機器人模型，還只能根據對話來做一些抓取，並不能與人類對話，也無法向人類解釋自己為什麼會這麼做。而Google自身，從Everyday Robotics 開始，已經有了五年以上的機器人研究經驗。

而Figure 本身，成立於2022 年。從OpenAI 宣布介入與之合作，到今天它們共同推出一個能夠自主對話和決策的機器人，只有13 天。

機器人智慧的發展，顯然正在加速。

01. 端對端大模型驅動，機器人的速度已經接近人類速度

Figure 的創辦人Brett Adcock 和AI 團隊的負責人Corey Lynch 在X 上解釋了這段影片中機器人互動背後的原理。

這次的突破，由OpenAI 與Figure 共同做出。OpenAI 提供負責提供視覺推理和語言理解，而Figure 的神經網路則提供快速、低層次、靈巧的機器人動作。

機器人所做出的所有行為都是出於已經學習過，內化了的能力，而不是來自遠端操作。

研究人員將機器人攝影機中的圖像輸入，和機載麥克風捕獲的語音中的文本轉錄到由OpenAI 訓練的，可以理解圖像和文本的多模態模型（VLM）中，由該模型處理對話的整個歷史記錄，得出語言回應，然後透過文字到語音的方式將其回復給人類。

同樣的模型，也負責決定在機器人上運行哪些學習的閉環行為來完成給定的命令，將特定的神經網路權重加載到GPU 上並執行策略。

這也是為什麼這個機器人，屬於「端到端」的機器人控制。從語言輸入開始，模型接管了一切處理，直接輸出語言和行為結果，而不是中間輸出一些結果，再載入其他程式處理這些結果。

Figure 的機載相機以10hz 的頻率拍攝影像，然後神經網路以200hz 輸出24 個自由度動作。

Figure 的創辦人提到，這代表機器人的速度已經有顯著提高，開始接近人類的速度。

Corey Lynch 的 X

OpenAI 的模型的多模態能力，是機器人可以與世界互動的關鍵，我們能夠從影片中展示中看到許多類似的瞬間，例如：

描述一下它的周圍環境。

做決定時使用常識推理。例如，「桌子上的盤子和杯子等餐具接下來很可能會進入晾衣架」。

將「我餓了」等模稜兩可的高階請求轉化為一些適合上下文的行為，例如「遞給對方一個蘋果」。

用簡單的英文描述*為什麼*它會執行特定的操作。例如，「這是我可以從桌子上為您提供的唯一可食用的物品」。

而模型能力的強大，使其還能夠擁有短期記憶，例如影片中展示的「你能把它們放在那裡嗎？」「它們」指的是什麼？「那裡」又在哪裡？正確回答需要反思記憶的能力。

而具體的雙手動作，可以分成兩個步驟來理解：

首先，網路預訓練模型對圖像和文字進行常識推理，以得出高級計劃。如影片中所展示的：Figure 的人形機器人快速形成了兩個計劃：1）將杯子放在碗碟架上，2）將盤子放在碗碟架上。

其次，大模型以200hz 的頻率生成的24-DOF 動作（手腕姿勢和手指關節角度），充當高速“設定點（setpoint）”，供更高速率的全身控制器跟踪。全身控制器確保安全、穩定的動力，如保持平衡。

所有行為均由神經網路視覺運動Transformer 策略驅動，將像素直接對應到動作。

02.從ChatGPT 到Sora，再到機器人，OpenAI 想包辦「智慧」這件事

2021 年夏天，OpenAI 悄悄關閉了其機器人團隊，當時，OpenAI 曾宣布無限期終止對機器人領域的探索，原因是缺乏訓練機器人使用人工智慧移動和推理所需的數據，導致研發受到阻礙。

但顯然，OpenAI 並沒有放下對這個領域的關注。

2023 年3 月，正在一年前，極客公園報告了OpenAI投資了來自挪威的機器人製造商1X Technologies。其副總裁正是我在文初提到的，認為具身智能將會突然到來的Eric Jang。

而無獨有偶，1X Technologies 的技術方向，也是端對端的神經網路對於機器人的控制。

而今年3 月初，OpenAI和其他投資人一起，參與了Figure 的B 輪融資，使其成立兩年，就達到了26 億美金估值。

也正是在這一輪融資之後，OpenAI 宣布了與Figure 的合作。

Figure 的創辦人Brett Adcock，是個「擅長組局」的連續創業者，整個職業生涯中創立過至少7 家公司，其中一家以27 億美元的估值上市，一家被1.1 億美元的價格收購。

創建公司後，他招募到了研究科學家Jerry Pratt 擔任首席技術官，前波士頓動力/蘋果工程師Michael Rose 擔任機器人控制主管。此次進行分享的AI 團隊負責人Corey Lynch，則原本是Google Deepmind 的AI 研究員。

Figure 宣布自己在馬達、韌體、熱、電子產品、中介軟體作業系統、電池系統、執行器感測器、機械與結構方面，都招募了硬核的設計人才。

公司的確進展很快。在與OpenAI 合作之前，已經做出了不少成績。2024 年1 月，Figure 01（Figure 的第一款人形機器人） 學會了做咖啡，公司稱，這背後引入了端到端神經網絡，機器人學會自己糾正錯誤，訓練時長為10 小時。

Figure 01 引進AI 學會做咖啡

2 月，公司對外展示Figure 01 的最新進展，在影片裡，這個機器人已經學會搬箱子，並運送到傳送帶上，但速度只有人類的16.7%。

甚至在商業化上，也已經邁出了第一步：Figure 宣布與寶馬製造公司簽署商業協議，將AI 和機器人技術整合到汽車生產中，部署在寶馬位於南卡羅來納州斯巴達堡的製造工廠。

而在今天的影片展示推文中，Figure 宣布其目標是訓練一個世界模型，最終能夠賣出十億個等級的模型驅動的人形機器人。

不過，儘管OpenAI與Figure的合作進展順暢，但看起來OpenAI 並未把寶壓在機器人公司裡。

北京時間3 月13 日，來自Google研究團隊、加州大學柏克萊分校、史丹佛大學教授等一群研究者新成立的機器人AI 公司Physical Intelligence，被彭博社爆料也拿到了OpenAI 的融資。

毫無意外，該公司，也是研究未來能成為通用機器人系統的人工智慧。

多頭下注機器人領域，13 天合作做出領先的機器人大模型，OpenAI 在機器人領域意圖為何，引人注意。

智慧人形機器人，未來不只看馬斯克的了。