研究人員希望讓人工智能芯片“睡個好覺”以提升整體表現
儘管人工神經元平台已較傳統計算機更加“人性化”,但新研究稱“睡個好覺”或有助於其發揮更大的作用,而不是定期將它關閉一陣子。據悉,神經元會在暴露於“慢波信號”時獲益(比如睡眠期間生物大腦中的信號)。神經網絡由人工神經元組成,它們很像是真實存在於生物鬧鐘的神經元——彼此間可發出信號、經常使用的連接會隨著時間的推移而得到加強,從而有效地推動神經網絡的自我學習。
(來自:LANL)
傳統計算機採用了順序處理的方式,但神經網絡可以並行處理不同的信息流,使之在圖像和語音識別等領域發揮了重要的作用。
然而與生物大腦相比,AI 學習有著一個巨大的不同—— 缺乏睡眠。對於人類來說,良好的睡眠不僅有助於鞏固記憶,還能夠降低肥胖、抑鬱、阿爾茲海默病、以及猝死等風險。
儘管神經網絡平台無需擔心體重增長,但長時間工作後也會讓神經元變得不穩定。洛斯阿拉莫斯國家實驗室的一項新研究指出,這種情況會在無監督的詞典訓練期間發生。
這項探索性的技術,希望通過網絡識別對象間的相似性,以長期對其進行分類,但又沒有給出明確的示例來對其進行檢查。
研究合著者Garrett Kenyon 表示:“只有在嘗試利用生物學上逼真的尖峰神經形態處理器、或試圖了解生物學本身時,才能理解如何避免學習系統變得不穩定”。
絕大多數的機器學習、深度學習和AI 研究人員從未遇到過這個問題,因為他們研究的人工系統可以執行全局數學運算,對系統的調節具有整體動態增益的作用。
為研究如何幫助人工神經網絡集中註意力,研究人員嘗試將之暴露於不同的白噪聲信號中。
結果發現由寬範圍的頻率和振幅組成的高斯噪聲的效果最好,可使神經元平靜下來並恢復其穩定性。
有趣的是,在恢復性的慢波睡眠階段,這些波與在人腦中的波動相似。研究一作Yijing Watkins 表示:“這就像我們給神經網絡提供了一夜好睡眠”。
下一步,研究人員希望在英特爾強大的神經形態芯片Loihi上測試該算法。通過讓芯片偶爾轉入“睡眠”狀態,研究團隊希望此舉有助於其更好地處理來自視網膜攝像頭的視覺信息。
有關這項研究的詳情,將在6 月14 日舉辦的計算機視覺研討會上作進一步介紹。