可調諧憶阻器的研發進展有助於人工神經網路更有效率處理隨時間變化的數據
在大腦中,計時是透過神經元完成的,神經元在接收到訊號後會以不同的速率放鬆;現在,憶阻器–神經元的硬體類似物也能做到這一點。隨著可調諧憶阻器的開發,人工神經網路很快就能更有效率地處理隨時間變化的資料。密西根大學領導的一項研究詳細介紹了這項技術,它可以大大降低人工智慧的能耗。
人工神經網路也許很快就能更有效率地處理隨時間變化的信息,如音訊和視訊資料。密西根大學領導的一項研究在今天的《自然-電子學》(Nature Electronics)雜誌上報告了第一個具有可調節”弛豫時間”的憶阻器。
憶阻器是一種將資訊儲存在電阻中的電子元件,與當今的圖形處理單元相比,它可以將人工智慧的能源需求降低約90 倍。預計到2027 年,人工智慧的耗電量將佔全球總耗電量的一半左右,隨著越來越多的公司銷售和使用人工智慧工具,這一比例還有可能進一步上升。
“現在,人們對人工智慧很感興趣,但要處理更大、更有趣的數據,方法就是擴大網路規模。這效率並不高,」麻省理工大學詹姆斯-R-梅勒工程學教授Wei Lu說,他與麻省理工大學材料科學與工程學副教授John Heron 是這項研究的共同通訊作者。
圖形處理器的問題
問題在於,GPU 的運作方式與運行人工智慧演算法的人工神經網路截然不同–整個網路及其所有互動都必須從外部記憶體中順序加載,這既耗時又耗能。相較之下,憶阻器可以節省能源,因為它們模仿了人工神經網路和生物神經網路在沒有外部記憶體的情況下運作的主要方式。在某種程度上,憶阻器網路可以體現人工神經網路。
麻省理工學院材料科學與工程系應屆博士畢業生Sieun Chae 與麻省理工學院電機與電腦工程系應屆博士畢業生Sangmin Yoo 是這項研究的共同第一作者。
在生物神經網路中,計時是透過放鬆來實現的。每個神經元都會接收電訊號並將其發送出去,但這並不能保證訊號會向前推進。在神經元發送自己的訊號之前,必須先達到接收訊號的某個閾值,而且必須在一定時間內達到該閾值。如果時間過長,神經元就會隨著電能的滲出而鬆弛。神經網路中具有不同鬆弛時間的神經元有助於我們理解事件的順序。
憶阻器如何運作
憶阻器的工作原理略有不同。改變的不是訊號的存在與否,而是有多少電訊號可以通過。接觸到一個訊號,憶阻器的電阻就會降低,從而允許更多的下一個訊號通過。在憶阻器中,弛豫意味著隨著時間的推移,電阻會再次上升。
Lu 的研究小組過去曾探索過在憶阻器中加入弛豫時間,但這並不是系統控制的。但現在,Lu 和Heron 的團隊已經證明,基礎材料的變化可以提供不同的弛豫時間,使憶阻器網路能夠模仿這種計時機制。
材料成分和測試
研究小組在超導體YBCO(由釔、鋇、碳和氧製成)的基礎上建構了這些材料。 YBCO在華氏零下292度的溫度下沒有電阻,但他們想要它的晶體結構。它引導著鎂氧化物、鈷氧化物、鎳氧化物、銅氧化物和鋅氧化物在憶阻器材料中的組織。
赫倫稱這種熵穩定氧化物為”原子世界的廚房水槽”–添加的元素越多,它就越穩定。透過改變這些氧化物的比例,研究小組獲得了159 到278 奈秒(即萬億分之一秒)的時間常數。他們建構的簡單憶阻器網路學會了識別0 到9 數字的發音。一旦經過訓練,它就能在音訊輸入完成之前辨識出每個數字。
未來展望
這些憶阻器是透過能源密集型工藝製造的,因為研究小組需要完美的晶體來精確測量它們的特性,但他們預計,更簡單的工藝也適用於大規模製造。
赫倫說:『到目前為止,這只是一個願景,但我認為有一些途徑可以使這些材料具有可擴展性,而且價格合理。這些材料是地球上豐富的資源,無毒、廉價,你幾乎可以把它們噴灑在上面。
編譯來源:ScitechDaily