Facebook發佈Ego4D專案成果:提供超3000小時的日常生活活動視頻
據外媒報導,Facebook人工智慧部門發佈了關於其”Ego4D”專案的一些成果。 這項研究與”9個國家的13所大學和實驗室組成的聯盟”合作,共同收集了 “2200個小時的戶外第一人稱視角視頻,其中有700多名參與者正在進行他們的日常生活”。
在這項研究中,與Facebook AI合作的研究人員的目的是開發”從這個角度理解世界”*的人工智慧,以便他們能夠”開啟一個沉浸式體驗的新時代”。 他們正在具體研究增強現實(AR)眼鏡和虛擬實境(VR)頭顯將如何”在日常生活中變得像智能手機一樣有用”。
*研究人員在這裡指的是第一人稱視角。 他們用第一人稱視角拍攝的視頻來工作,而不是通過視頻和照片來訓練人工智慧的正常視角:第三人稱視角。
研究人員為這個專案列出了五個「基準挑戰」 有效地展示了他們正在追蹤的內容。 要清楚的是:Facebook並沒有通過真實的現場設備來追蹤這個項目的數據–現在還沒有。 這些都是通過Facebook AI為這個項目獲得的第一人稱視角視頻進行追蹤。
- – 事件記憶:什麼時候發生了什麼?
- – 預測:我接下來可能會做什麼?
- – 手和物體的操作:我在做什麼?
- – 視聽日記:誰在什麼時候說了什麼?
- – 社會互動:誰在與誰互動?
根據Facebook AI的說法,他們對這一主題的研究與一個數據集合作,該數據集”就錄像的小時數而言”比其他任何數據集都要大20倍。 正是通過Facebook AI的Ego4D專案公告,這一資訊才得以公開。
有關這個專案的研究論文《Ego4D: Around the World in 3,000 Hours of Egocentric Video》已在arXiv發表。