Facebook 開源嵌入式AI 工具,幫助AI 在復雜環境中導航
Facebook 推出了一個名為SoundSpaces 的新的開源工具,專為所謂的”嵌入式AI “而設計。該工具旨在通過允許機器人分析環境聲音,幫助他們更有效地找到自己的方向。
圖片來源:siliconangle
音頻對導航很有用。例如,如果用戶要求假想的機器人家庭助理取回正在響鈴的智能手機,則將聲音追踪到其來源可能比目視檢查設備可能位於的每個房間要快得多。
SoundSpaces 是一個主要基於3D 環境聲學模擬的音頻渲染信息集。該信息集設計用於Facebook 的開放供應模擬平台AI Habitat,它提供了一個軟件程序傳感器,使其可以在掃描的真實世界環境中插入聲源的模擬。
SoundSpaces 提供了一系列音頻文件,AI 開發者可以用這些文件在模擬中訓練聲音感知的AI 模型。Facebook 方面表示,這些音頻文件不是簡單的錄音,而是”幾何聲學模擬”。這些模擬包括關於波浪如何從牆壁等表面反射的信息、它們如何與不同的材料相互作用、以及一些其他數據,開發人員可以使用這些數據來創建聽起來很真實的模擬,以訓練AI 模型。
Facebook研究科學家Kristen Grauman和Dhruv Batra在博客中寫道,”據我們所知,這是第一次嘗試訓練既能看到又能聽到的深度強化學習代理,以映射新環境並定位發聲目標。通過這種方法,我們在導航方面實現了比使用單模態同行更快的訓練和更高的準確性。”
此外,Facebook 方面還表示,他們已經開源了一個名為“Semantic MapNet”的工具,開發人員可以用來為模型提供某種空間內存以改善導航的軟件模塊。