本週四，一大批大學和私人企業的研究人員發布了Genesis，這是一個新的開源電腦模擬系統，可讓機器人在模擬現實中練習任務，速度比現實世界快43 萬倍。 研究人員還可以使用人工智慧代理根據文字提示產生三維物理模擬。

使用Genesis 平台創建的模擬茶壺和字塊

加速模擬意味著，只需幾個小時的真實電腦時間，用於駕駛機器人的神經網路就能在虛擬世界中學習拾取物件、行走或操作工具，相當於幾十年的時間。

「一小時的計算時間可以讓機器人獲得10 年的訓練經驗。 這是尼歐如何在《駭客任務》的道場中眨眼間學會武術的。” 《創世紀》論文的合著者吉姆-範（Jim Fan）在《X》上寫道，他說自己在這項研究中只是”小角色”。 範曾為NVIDIA 參與過多個機器人模擬計畫。

機器人研究人員正在尋找更好的工具來測試和訓練機器人，然後再部署到現實世界中。 快速、準確的模擬可以幫助機器人更快學習複雜的任務，同時減少對昂貴的實體測試的需求。

研究人員提供的由Genesis創建的基於物理的模擬世界的範例圖片。 Credit: Zhou et al.

由卡內基美隆大學週賢領導的小組開發的Genesis 平台處理物理計算的速度比現有的機器人模擬器（如NVIDIA 的Isaac Gym）快80 倍。 它使用類似於視訊遊戲的顯示卡，可同時運行多達10 萬份模擬。 這對於訓練控制未來真實世界機器人的神經網路非常重要。

“如果一個人工智慧可以在10 億個不同的模擬中控制1000 個機器人完成100 萬種技能，那麼它在我們的現實世界中就可能’恰好奏效’，而現實世界只不過是廣闊的可能現實空間中的另一個點，」範在他的X 帖子中寫道。 “這就是為什麼模擬在機器人技術中如此有效的基本原理”。

產生動態世界

該團隊還宣布了生成所謂”4D動態世界”的能力–之所以使用”4D”，可能是因為它們可以模擬隨時間運動的三維世界。該系統使用視覺語言模型（VLM），透過文字描述（類似於其他人工智慧模型中的”提示”）產生完整的虛擬環境，並利用Genesis 自己的模擬基礎API 來創建世界。

據報道，人工智慧生成的世界包括逼真的物理、攝影機運動和物體行為，所有這些都來自文字命令。 然後，該系統會產生物理上精確的光線追蹤影片和數據，供機器人用於訓練。

Genesis根據文字提示建立的”4D 動態和物理”世界範例。

這個基於提示的系統可讓研究人員透過鍵入自然語言命令來創建複雜的機器人測試環境，而無需手動編程。傳統上，模擬器需要美工人員大量的手工勞動： 三維資產、紋理、場景佈局等。 但工作流程中的每個元件都可以自動化。

利用其引擎，Genesis 還可以生成角色動作、交互式三維場景、面部動畫等，這不僅可以為創意項目創建藝術資產，還可能在未來開發出更逼真的人工智能生成遊戲和視頻，在數據中構建一個模擬世界，而不是像視訊合成擴散模型那樣根據像素的統計外觀進行操作。

Genesis中的角色動作生成範例，使用的提示包括：”一個手持棍棒的微型悟空在桌面上衝刺3 秒鐘，然後跳到空中，並在著陸時向下揮動右臂”。

雖然生成系統還不是GitHub 上程式碼的一部分，但團隊計劃在未來發布它。 Genesis 仍在GitHub 上積極開發，團隊接受社區貢獻。

該平台在使用者介面和核心實體引擎上都使用了Python，從而在其他用於機器人訓練的3D 世界模擬器中脫穎而出。 其他引擎使用C++ 或CUDA 進行底層計算，並以Python API 進行封裝。 Genesis 採用的是Python 優先的方法。

值得注意的是，Genesis平台的非專有性使得任何研究人員都可以透過簡單的Python命令免費獲得高速機器人訓練模擬，這些命令可以在使用現成硬體的普通電腦上運行。

以前，運行機器人模擬需要複雜的程式設計和專用硬件，範在他發布Genesis 的文章中說，但現在不應該這樣了。他寫道：”機器人技術應該是全人類共同擁有的登月計劃。”