人工神經網路能否駕馭生物神經元的「濃稠」程度 ? 5 到 8 層可能並非極限
雖然我們糊狀的大腦似乎與計算機處理器中的晶元大相徑庭,但科學家對兩者的比較已經有很長的歷史。 正如阿蘭·圖靈在 1952 年所說:”我們對大腦像冷粥一樣的稠度不感興趣。” 也就是說,媒介並不重要,重要的是計算能力。
如今,最強大的人工智慧系統使用基於深度學習的機器學習方法,該演算法通過調整大量的數據隱藏層相互連接的節點來擬合數據,這些節點形成的網路被稱為深度神經網路。 顧名思義,深度神經網路的靈感來自於大腦中真實的神經網路,這些深度神經網路的節點以真實的神經元為模型。
根據 20 世紀 50 年代神經科學家對神經元的了解,當時一種有影響力的神經元模型被稱為感知器,從那時起,我們對單個神經元計算複雜性的理解逐漸加深,人們瞭解到生物神經元比人工神經元更複雜,但是複雜的程度是多少? 不得而知。一個生物神經元可以和 5 到 8 層人工神經網路相匹敵
為了找到答案,耶路撒冷希伯來大學的David Beniaguev, Idan Segev和Michael London訓練了一個人工深度神經網路來類比生物神經元的計算。 該研究表明,”一個深度神經網络需要 5 到 8 層相互連接的人工神經元來才能表示單個生物神經元的複雜性。 ”
“我原以為它會更簡單,更小”Beniaguev 如是說。 Beniaguev 也沒有預料到這種複雜性,他原來預計三到四層就足以捕獲單元內執行的計算。
在Google旗下的 AI 公司 DeepMind 設計決策演算法的Timothy Lillicrap表示:「新結果表明,可能有必要重新思考,以前將大腦中的神經元與機器學習背景下的神經元進行不精確的比較的舊傳統 」,他認為” 這篇論文確實有助於人們更仔細地思考這個問題,並搞清楚我們可以在多大程度上進行類比。 ”
最基本的相似之處,在於它們處理輸入的資訊的方式。 這兩種神經元都接收輸入的信號,並根據這些資訊決定是否將自己的信號發送給其他神經元。 人造神經元是依靠簡單的計算來做出決定,但數十年的研究表明,生物神經元的這個過程相對來說更加複雜。
計算神經科學家使用輸入-輸出函數,類比生物神經元的長樹枝(樹突)接收到的輸入的信息與神經元決定發送信號之間的關係。
這項新研究的作者使用一個人工深度神經網路模仿這個函數,以確定關係的複雜程度。 他們首先對老鼠的大腦皮層中的神經元的輸入輸出功能進行了大規模類比,這種神經元的頂部和底部都有不同的樹突分支,被稱為錐體神經元。 然後,他們將模擬結果輸入到一個深度神經網路中,該神經網路每層最多有 256 個人工神經元,他們不斷增加層數,直到在模擬神經元的輸入和輸出之間達到毫秒級 99% 的準確率。
最後,深度神經網路成功地預測了大腦神經元的輸入-輸出函數的行為,結果表明:深度神經網路至少有 5 層相互連接的人工”神經元”,但不超過 8 層。 在大多數網路中,一個生物神經元就相當於大約1000個人工神經元。
神經科學家們現在知道,單個神經元的計算複雜性,比如左邊的錐體神經元,依賴於樹突狀的分支,這些分支會受到傳入信號的轟擊。 在神經元決定是否發送自己的信號「尖峰」之前,會導致局部電壓的變化,以神經元的顏色變化來表示,紅色表示高電壓,藍色表示低電壓。 這個「尖峰」出現了三次,如圖中右側的各分支的軌跡所示,這裡的顏色代表了樹突從上(紅色)到下(藍色)的位置。
——David Beniaguev
貝勒醫學院 (Baylor College of Medicine) 的計算神經科學家安德列亞斯·托利亞斯 (Andreas Tolias)說:”(這個結果)為生物神經元和人工神經元之間搭起了橋樑。”
這一研究的其中一個作者London對人們提出了警告,他認為,「人工神經網路中有多少層和網路的複雜性之間的關係並不明顯,不是直接的對應。 “因此,我們不能確切地說,從四層增加到五層會增加多少複雜性。 我們也不能說 1000 個人工神經元就意味著生物神經元的複雜度恰好是人工神經元的 1000 倍。 說不定,我們可以在每一層中使用成倍的人工神經元,最後能形成只有一層的深度神經網路來擬合一個生物神經元。 當然,演算法學習可能因此需要更多的數據和學習時間。
London 表示:「我們嘗試了多種不同深度和不同單元的架構,但大多都失敗了。 ”
該研究的作者們分享了他們的代碼,以鼓勵其他人找到一個層次更少的解決方案。 但是結果表明,找到一個能以 99% 的準確率類比生物神經元的深層神經網路是很難的。 因此,這些作者們相信,他們得出的結果確實為進一步的研究提供了有意義的比較。
Lillicrap 認為,這一研究結果對於將圖像分類網路與大腦聯繫起來,或許可以提供一種新方法。 圖像分類網路通常需要 50 層以上,如果每個生物神經元都近似於一個五層人工神經網路,那麼一個有 50 層的圖像分類網路就相當於一個生物網路中的 10 個真實神經元。
這一研究的作者還希望他們得出的研究結果能夠被用於改進 AI 領域目前最先進的深度網路架構。
Segev指出,「我們建議,可以嘗試用一個代表生物神經元的單元來替代深度神經網路中的簡單單元,使其更接近大腦的工作方式。 “在這種替代方案中,人工智慧研究人員和工程師可以插入一個五層深度網络作為”迷你網络”,取代每一個人工神經元。有質疑也有肯定
但有些人懷疑這一研究是否真的對人工智慧有益。
冷泉港實驗室 (Cold Spring Harbor Laboratory) 的神經學家安東尼·扎多爾 (Anthony Zador)說,”我認為,在這種對比中是否存在實際的計算優勢,還是一個懸而未決的問題。 “”但是該研究為檢驗這一點奠定了基礎。”
除了人工智慧的應用之外,這篇新的論文也加深了人們對樹突樹和單個生物神經元強大計算能力的共識。 早在 2003 年,三位神經科學家就表明,金字塔神經元的樹突樹可以通過將其建模為兩層人工神經網路來進行複雜的模擬計算。 在這篇新論文中,作者研究了金字塔神經元的哪些特徵(結構)激發了 5 到 8 層深度神經網路的更大複雜性。 他們得出的結論是:秘密來自於樹突,以及樹突表面接收化學信使的一種特定受體——這一發現與該領域之前的研究結果一致。
一些人認為,這一結果意味著神經科學家應該把對單個生物神經元的研究放在更重要的位置。
賓夕法尼亞大學 (University of Pennsylvania) 的計算神經學家康拉德·科爾丁 (Konrad Kording)說:”這篇論文使得我們對樹突和單個神經元的思考變得比以前重要得多。 ”
還有 Lillicrap 和 Zador, 他們認為關注一個迴路中的神經元,對於學習大腦如何使用單個神經元的計算複雜性同樣重要。
無論如何,人工神經網路的研究可能會提供對生物神經元以及大腦奧秘的新見解。
倫敦大學學院 (University College London) 的計算神經科學家格蕾絲·琳賽 (Grace Lindsay)說:”從層次、深度和寬度的角度思考,這項工作讓我們對計算的複雜性有了直觀的認識。”
然而, Lindsay 也警告說,這項新研究仍然只是在對模型進行比較。 不幸的是,目前神經科學家不可能記錄真實神經元的完整輸入-輸出功能,所以可能有更多生物神經元模型沒有捕捉到的東西。 換句話說,真正的神經元可能更加複雜。
London 說:「我們不確定 ,5 到 8 層是否真的是最終的極限。 ”原文連結:https://www.quantamagazine.org/how-computationally-complex-is-a-single-neuron-20210902/