Facebook 於今日宣佈開源旗下 Droidlet 機器人開發平臺，特點是能夠利用自然語言處理（NLP）和計算機視覺（CV）技術來感知周圍世界。 其宣稱能夠簡化機器學習演算法在機器人專案中的集成，並促進快速的軟體原型設計。 儘管當前機器人已能夠通過程式設計來執行舞蹈等特定應用，但還是缺乏可在更深層次上處理資訊的能力。

Droidlet 專案 – GitHub傳送門

當然，Droidlet 並不是所有問題的萬能解決方案，而是一種測試不同 NLP 和 CV 處理模型的方法。

其允許開發者構建能夠在現實世界中、或《我的世界》和Facebook的Habitat等類比環境裡完成相關任務的系統。 開發者可按需更換元件，來支援可在不同機器人上使用的相同系統。

此外 Droidlet 平臺提供了一個儀錶板，方便開發者添加調試與可視化小部件和相關工具，以及一個用於糾錯和註釋的介面。

除了用於測試針對機器人設置進行微調的視覺模型的環境之外，Droidlet 還附帶了用於將機器學習模型連接到機器人的封包器。

Droidlet 有一系列元件構成，其中某些為啟發式的、另一些則是學習向的，開發者可在方便時調用靜態數據、然後適當調用動態數據開展訓練。 其設計由以下幾個模組到模組的介面組成：

● 一個存儲系統，用於跨各種模組的信息存儲。

● 一組能夠處理來自外界資訊、並將之存儲與記憶體中的感知模組。

● 可讓機器人適應環境變化的一組較低級別的任務支援，比如『向前移動三英尺』和『將物品放在給定座標處』。

● 一個控制器，可決定執行哪些基於存儲系統狀態的任務。

Facebook 指出，這些模組中的每一個，都可進一步分解為可訓練或啟發式的元件，且相關模組與儀錶板支援在 Droidlet 之外的生態系統中使用。

對於研究人員和愛好者，Droidlet 還提供了對”內置電池”系統的支援，可通過預訓練的物體檢測和姿態預估模型來感知環境，並將觀察結果存儲在機器人的記憶體中。

通過這種表示，系統可響應諸如「前往紅椅子處」之類的語音命令，利用預訓練的神經語義解析器，將自然語言轉換為可由機器人執行的程式。