兩位圖靈獎得主:自我監督學習是使AI達到人類智能的關鍵
未來,想要用深度學習的方法來構建達到人類智能水平的人工智能,最關鍵的一點是什麼?關於這個問題,兩位人工智能領域裡的大佬達成了一致。在2020年的ICLR大會上,兩位深度學習領域裡的明星科學家,同時也是圖靈獎的獲得者Yoshua Bengio(約書亞·本吉奧)和Yann LeCun(楊立昆)在談到深度學習領域裡的研究趨勢時都表示,自我監督學習是讓人工智能推理更像人類的關鍵。
ICLR,又稱國際表徵學習大會( International Conference on Learning Representations),是深度學習領域的頂級會議。今年受疫情影響,第一次以線上形式召開。
Yoshua Bengio是人工智能自然語言處理領域的先鋒。現為加拿大蒙特利爾大學(University of Montreal)計算機科學與運算系任教授。Yann LeCun常被認為是“卷積網絡之父”,目前擔任Facebook首席人工智能科學家。
自我監督學習
在深度學習領域,監督學習需要在標記好的數據集上訓練AI模型。實際上,由於有用數據的可用性有限,以及處理該數據的計算能力不足,深度學習直到幾年前才成為領先的AI技術。而自我監督學習可以做到不再依賴標記數據,而是通過學習數據之間的關係來生成標籤,進行訓練。楊立昆認為,隨著自我監督學習的廣泛使用,它將扮演越來越重要的角色。這一步驟也被認為是實現人類智能的關鍵。
“人類和動物是通過自我監督的模式獲得大多數知識的,而不是強化模式。自我監督學習主要是觀察世界,並與之互動。這種觀察是自發的,而不是在測試條件下完成的。但我們不知道如何讓機器獲得這樣的學習能力。”楊立昆說。
自我監督學習是一種機器學習的“理想狀態”,但重點在於如何讓機器自動生產數據標籤。其中最大的阻礙來自不確定性。通常來說,數據是這樣的,它將變量所有可能的值與其出現的概率聯繫起來。在變量是離散的情況下,它們可以很好地表示不確定性。但目前,研究人員尚未找到一種方法來有效地表示連續變量的分佈。
楊立昆指出,解決數據連續分佈問題的一種方法是基於能量模型(EBM),該模型學習數據集的數學元素並嘗試生成相似的數據集。從歷史上看,這種形式的生成建模很難在實際中有所應用,但最近的研究表明,可以對其進行調整以適應複雜的拓撲結構。
Bengio在研討會上認為,人工智能可以從神經科學領域獲得幫助,尤其是對意識和意識加工的探索。他預測,未來的研究會闡明高級語義變量方式與大腦如何處理信息(包括視覺信息)有關。這些變量是人類使用語言交流的事物,它們可能會導致新一代的深度學習模型。
“通過與基礎語言學習相結合,我們可以取得很多進展,歸根結底我們都在打造能夠理解這個世界的模型,以及高層次的概念是如何相互關聯的。這是一種聯合式的分佈。”Bengio 說:“人類的意識處理過程,利用的是有關世界如何變化的假設,這些假設可以理解成為一種更高層次的表達方式。簡單來講,就是我們看到世界的變化,然後想到一句話來解釋這種變化。”
沒有通用人工智能
除了數據分佈的問題外,楊立昆認為缺失的背景知識也是人工智能無法達到人類智能水平的阻礙之一。比如,大多數人可以在30小時內學會駕駛汽車,因為他們已經掌握了有關汽車行為的物理模型。相比之下,自動駕駛汽車上部署的強化學習模型從零開始,他們必須先犯成千上萬個錯誤,才能確定哪些操作是無害的。
“顯然,我們需要能夠構建模型來學習世界,這就是進行自監督學習的原因——運行預測世界模型,能夠讓系統進行更快地學習。從概念上講,這相當簡單,除非是在那些我們無法完全預測的不確定環境中。”楊立昆說。同時,他認為,想要實現通用人工智能(AGI),就算有自監督學習和神經科學學習的加持,也是不夠的。
通用人工智能是指機器獲得人類水平的智能。一些研究人員將通用人工智能稱為強AI(strong AI)或者完全AI(full AI),或稱機器具有執行通用智能行為(general intelligent action)的能力。
楊立昆表示,這是因為智力,尤其是人類的智力,是非常特殊的。“AGI是不存在的,根本沒有通用人工智能這回事。我們可以談論老鼠水平的智力、貓的智力、狗的智力,或者人類的智力,但還根本談不上通用人工智能。”楊立昆說。
但是Bengio相信,機器最終將能夠在無需體驗的情況下獲得關於世界的各種知識的能力,這很可能是而是通過習得可以語言化的知識來實現。
“我認為這也是人類的一個巨大優勢,相比於其他動物來說,人類之所以聰明,是因為我們有我們自己的文化,讓我們能夠解決這個世界的問題。要想讓人工智能在現實世界中發揮作用,我們需要它不僅僅是能夠翻譯的機器,而是能夠真正理解自然語言的機器。”Bengio說。