人工智慧的未來:自學習機器可能取代目前的神經網絡
馬克斯-普朗克研究所的科學家利用神經形態運算中的物理過程,設計出了更節能的人工智慧訓練方法。這種方法有別於傳統的數位神經網絡,可以降低能耗,優化訓練效率。該團隊正在開發一種光學神經形態電腦來展示這項技術,旨在大幅推動人工智慧系統的發展。
基於物理學的新型自學機器可以取代目前的人工神經網路並節約能源。人工智慧(AI)不僅性能驚人,而且需要大量能源。承擔的任務越複雜,能耗就越大。德國埃爾蘭根馬克斯-普朗克光科學研究所的科學家維克托-洛佩斯-帕斯托爾和弗洛里安-馬夸特開發了一種更有效率的人工智慧訓練方法。他們的方法利用實體過程,有別於傳統的數位人工神經網路。
負責開發為ChatGPT 提供動力的GPT-3 技術的Open AI 公司並未透露訓練這個知識淵博的高階人工智慧聊天機器人所需的能量。
根據德國統計公司Statista 的數據,這將需要1000 兆瓦時,大約相當於200 個三人或三人以上的德國家庭的年消耗量。雖然這種能源消耗使GPT-3 能夠了解在其資料集中,”deep”一詞後面更有可能出現的是”sea”還是”learning”,但無論如何,它都無法理解這些短語的深層含義。
神經形態電腦上的神經網絡
在過去幾年中,為了降低計算機,特別是人工智慧應用的能耗,一些研究機構一直在研究一種全新的概念,即未來電腦如何處理資料。這一概念被稱為神經形態計算。雖然這聽起來類似於人工神經網絡,但實際上與人工神經網路關係不大,因為人工神經網路是在傳統的數位電腦上運行的。
這意味著,軟體或更準確地說演算法是以大腦的工作方式為模型的,但數位計算機是硬體。它們依序執行神經元網路的計算步驟,一個接一個,區分處理器和記憶體。
馬克斯-普朗克光科學研究所所長、埃爾蘭根大學教授弗洛里安-馬夸特(Florian Marquardt)說:”當一個神經網路用多達1 TB 的資料訓練數千億個參數(即突觸)時,僅這兩個組件之間的資料傳輸就會消耗大量能量。”
如果人腦的工作能效與使用矽電晶體的電腦類似,那麼人腦就完全不同,在演化過程中可能永遠不會具有競爭力。它很可能會因過熱而失效。
大腦的特徵是並行而非順序地完成思考過程的眾多步驟。神經細胞,或者更準確地說,突觸,既是處理器,也是記憶體。世界各地的各種系統都被視為神經細胞的神經形態對應物的可能候選者,其中包括利用光而不是電子進行計算的光子電路。它們的元件同時充當開關和儲存單元。
自學物理機器獨立優化突觸
弗洛里安-馬夸特與馬克斯-普朗克光科學研究所的博士生維克托-洛佩斯-帕斯托爾(Víctor López-Pastor)一起,為神經形態計算機設計出了一種高效的訓練方法。他解釋說:”我們提出了自我學習物理機器的概念。核心思想是以物理過程的形式進行訓練,其中機器的參數由過程本身進行優化。在訓練傳統人工神經網路時,需要外部反饋來調整數十億個突觸連接的強度。不需要這種回饋,訓練效率就會高得多。在自學習物理機器上實施和訓練人工智慧,不僅可以節約能源,還能節省計算時間。我們的方法不管自學機器中的物理過程是什麼,都能發揮作用,我們甚至不需要知道具體的過程。不過,這個過程必須滿足幾個條件,最重要的是,它必須是可逆的,也就是說,它必須能夠以最小的能量損失向前或向後運行。”
“此外,物理過程必須是非線性的,即足夠複雜。只有非線性過程才能完成輸入資料和結果之間的複雜轉換。一個彈珠在盤子上滾動而不會與另一個彈珠相撞,這是一個線性動作。但是,如果它受到另一個彈珠的干擾,情況就會變成非線性的。”
光學神經形態計算機的實際測試
光學中也有可逆非線性過程的例子。事實上,維克多-洛佩斯-帕斯托爾(Víctor López-Pastor)和弗洛里安-馬夸特(Florian Marquardt)已經與一個實驗小組合作開發了一台光學神經形態計算機。這台機器以疊加光波的形式處理訊息,由適當的元件調節互動的類型和強度。研究人員的目標是將自學實體機器的概念付諸實現。
弗洛里安-馬夸特說:「我們希望能在三年內推出第一台自學實體機器。到那時,神經網路的突觸數量和訓練資料量都將大大超過今天的水平。因此,人們可能會更加希望在傳統數位計算機之外實現神經網絡,並用訓練有素的神經形態計算機取而代之。我們相信,自學物理機器很有可能被用於人工智能的進一步發展。”