微軟新研究：無人機獲推理能力看圖就能做出決策
一般來說，人類通過感知來作出相應的決策，比如因為看到障礙物而選擇避讓。儘管這種“從感知到動作”的邏輯已經應用到了傳感器和攝像頭領域，並成為了當前一待機器人自主系統的核心。但是，目前機器的自治程度遠遠達不到人類根據視覺數據而作出決策的水平，尤其是在處理第一人稱視角（FPV）航空導航等開放世界感知控制任務時。
不過，微軟近日分享的新的機器學習系統這一領域帶來了新的希望：幫助無人機通過圖像推理出正確的決策。
微軟從第一人稱視角（FPV）無人機競賽中獲得啟發，競賽中的操作員可以通過單眼攝像頭來規劃和控制無人機的運行路線，從而大大降低發生危險的可能性。因此，微軟認為，這一模式可以應用到新的系統當中，從而將視覺信息直接映射成實施正確決策的動作。
具體來說，這個新系統明確地將感知組件（理解“看到的”內容）與控制策略（決定“做什麼”）分開，這樣便於研究人員調試深層神經模型。模擬器方面，由於模型必須能夠分辨出模擬和真實環境之間細微的差異性，微軟使用了一種名為“AirSim”的高保真模擬器對系統進行訓練，然後不經修改，直接將系統部署到真實場景裡的無人機上。
上圖為微軟在測試中使用的無人機
他們還使用了一種稱為“CM-VAE”的自動編碼器框架來緊密連接模擬與現實之間的差異，從而避免對合成數據進行過度擬合。通過CM-VAE 框架，感知模塊輸入的圖像從高維序列壓縮成低維的表示形式，比如從2000 多個變量降至10 個變量，壓縮後的像素大小為128×72，只要能夠描述其最基本的狀態就行。儘管系統僅使用了10 個變量對圖像進行編碼，但解碼後的圖像為無人機提供了“所見場景”的豐富描述，包括物體的尺寸、位置，以及不同的背景信息。而且，這種維度壓縮技術是平滑且連續的。
為了更好地展示這一系統的功能，微軟使用帶有前置攝像頭的小型敏捷四旋翼無人機進行了測試，試圖讓無人機根據來自RGB 攝像機的圖像來進行導航。
研究人員分別在由8 個障礙框組成的長達45 米的S 型軌道上，以及長達40 米的O 型軌道上對裝載系統的無人機進行了測試。實驗證明，使用CM-VAE 自動編碼框架的表現比直接編碼的表現要好很多。即便是在具有強烈視覺干擾的情況下，這個系統也順利地完成了任務。
上圖為測試場地的側視圖和俯視圖
微軟方面聲稱：
在模擬訓練階段，在無人機從未“見過”的視覺條件下對其進行測試，我們將感知控制框架發揮到了極致。
在通過仿真訓練後，這個系統能夠獨立在現實世界充滿挑戰的環境下進行“自我導航”，非常適合部署在搜索和救援任務中。該項研究的參與者表示，該系統在實際應用中將展現出巨大的潛力——儘管年齡，大小，性別，種族和其他因素有所不同，但自主搜索和救援機器人能夠更好地識別出人類，並幫助人類。
參考資料：
https://www.microsoft.com/en-us/research/uploads/prod/2020/03/1909.06993.pdf