生物啟發的神經網絡模型令其記憶能力大大提升
研究人員在最近的生物發現的啟發下開發了一個新的模型,顯示出增強的記憶性能。這是通過修改一個經典的神經網絡實現的。計算機模型在研究大腦製造和保留記憶及其他復雜信息的過程中發揮著關鍵作用。然而,構建這種模型是一項微妙的任務。
電信號和生物化學信號的錯綜複雜的相互作用,以及神經元和其他細胞類型之間的連接網絡,為記憶的形成創造了基礎結構。儘管如此,由於對大腦基礎生物學的了解有限,將大腦的複雜生物學編碼到計算機模型中進行進一步研究已被證明是一項困難的任務。
沖繩科學與技術研究所(OIST)的研究人員通過納入生物學的見解,對廣泛使用的記憶計算機模型(稱為霍普菲爾德網絡)進行了改進。這一改變啟發了一個神經網絡,它不僅更好地反映了神經元和其他細胞在大腦中的連接方式,而且還有能力儲存更多的記憶。
深井智樹教授小組的博士生托馬斯-伯恩斯說,網絡中增加的複雜性使其更加現實,深井教授是OIST神經編碼和腦計算部門的負責人。
“為什么生物學會有這麼多的複雜性?記憶能力可能是一個原因,”伯恩斯先生說。
在經典的霍普菲爾德網絡(左)中,每個神經元(I、j、k、l)都以成對的方式與其他神經元相連。在伯恩斯和深井教授製作的改良網絡中,三個或更多的神經元組可以同時連接。資料來源:托馬斯-伯恩斯(OIST)
霍普菲爾德網絡將記憶存儲為系統中不同神經元之間的加權連接模式。網絡被”訓練”來編碼這些模式,然後研究人員可以通過呈現一系列模糊或不完整的模式來測試它對這些模式的記憶,觀察這一網絡是否能將它們識別為它已經知道的模式。然而,在經典的霍普菲爾德網絡中,模型中的神經元與網絡中的其他神經元相互連接,形成一系列所謂的”配對”連接。
成對連接代表了兩個神經元在突觸處的連接方式,突觸是大腦中兩個神經元的連接點。但在現實中,神經元有復雜的分支結構,稱為樹突,提供多個連接點,因此大腦依靠更複雜的突觸安排來完成其認知工作。此外,神經元之間的連接是由稱為星形膠質細胞的其他細胞類型調節的。
伯恩斯解釋說:”大腦中只存在神經元之間的成對連接,這根本不現實。他創建了一個改良的霍普菲爾德網絡,其中不僅有成對的神經元,而且有三組、四組或更多的神經元也可以連接起來,例如在大腦中可能通過星形膠質細胞和樹突樹發生。”
儘管新的網絡允許這些所謂的”集合式”連接,但總的來說,它包含的連接總數與以前一樣。研究人員發現,一個包含成對連接和集合連接的混合網絡表現最好,保留的記憶數量也最多。他們估計它的效果是傳統霍普菲爾德網絡的兩倍以上。
“事實證明,你實際上需要在某種程度上平衡各種特徵的組合,”伯恩斯說,”單獨的突觸是必要的,但也應該需要一些樹突樹和一些星形膠質細胞。”
霍普菲爾德網絡對於模擬大腦過程非常重要,但它們也有強大的其他用途。例如,被稱為變形金剛的非常類似的網絡類型是基於人工智能的語言工具,如ChatGPT,所以伯恩斯和深井教授所確定的改進也可能使這類工具更加強大。
伯恩斯和他的同事們計劃繼續研究他們修改後的霍普菲爾德網絡,以使它們更加強大。例如,在大腦中,神經元之間的連接強度通常在兩個方向上是不一樣的,所以研究人員想知道這種不對稱的特點是否也能提高網絡的性能。此外,他還想探索使網絡的記憶相互作用的方法,就像它們在人腦中的作用一樣。我們的記憶是多方面的,而且很龐大。我們仍然有很多東西需要發掘。”