三星存內計算登Nature:全球首搭MRAM 鋪路下一代AI芯片
近日,三星電子在頂級學術期刊Nature 上發表了全球首個基於MRAM(磁性隨機存儲器)的存內計算研究。存內計算由於毋需數據在存儲器和處理器間移動,大大降低了AI 計算的功耗,被視作邊緣AI 計算的一項前沿研究。雖然MRAM 存儲器件具備耐用性、可大規模量產等優勢,但其小電阻的特性阻礙了這類存儲器被用於存內計算。
本次,三星電子的研究團隊通過構建新的MRAM 陣列結構,用基於28nm CMOS 工藝的MRAM 陣列芯片運行了手寫數字識別和人臉檢測等AI 算法,準確率分別為98% 和93%。
研究擴展存內計算類型,填補MRAM 空白
在傳統的計算機架構中,數據需要從內存移動到處理單元,然後將中間結果存儲回內存。但這種無謂的信息傳輸不僅增加了計算延遲,也提升了相關功耗。
根據台積電此前對存內計算的研究,數據移動所消耗的能量甚至大於計算的能量消耗。因此,在內存中同時執行數據存儲和計算的存內計算成為了行業與學術機構研究的焦點。
此前的研究中,非易失性的RRAM(電阻式隨機存取存儲器)和PRAM(相變隨機存取存儲器)是存內計算最常用的兩類存儲器。相比之下,儘管MRAM 器件在操作速度、耐用性和量產等方面具有優勢,但其較低的電阻使MRAM 存儲器在傳統的存內計算架構中無法達到低功耗要求。
在本篇論文中,三星電子的研究人員構建了一種基於MRAM 的新存內計算架構,填補了這種空白。論文特別寫道,該研究並非和基於其他存儲器的存內計算架構競爭。到目前為止,沒有一種存儲器類型在電子產品中佔據絕對主導,因為不同類型的存儲器各有自身的優點和缺點。因此,基於不同存儲器的存內計算也可能發展成不同的架構。
從這個角度看,三星電子通過填補基於MRAM 存儲器的存內計算架構空白,有助於存內計算發展。
▲ 三星研究團隊:共同通訊作者SAIT(三星高級技術研究所)院士、哈佛大學教授Donhee Ham(左一);論文一作SAIT 研究員Seungchul Jung(左二);共同通訊作者SAIT 技術副總裁Sang Joon Kim(左三)
基於28nm CMOS 工藝,準確檢測1851 張人臉
三星電子構建了一個64×64 的MRAM 陣列,其外圍電路通過28nm CMOS 工藝進行了集成。
具體結構上來說,MRAM 陣列在寫/ 讀(W / R)電子元件和底部的TDC 讀出電子元件之間,輸入數據控制器(IN)位於陣列左側。
為了彌補MRAM 小電阻的問題,三星電子引入了一種新的位單元(陣列行列交叉處的元素,bit-cell),每個位單元組合成兩條路徑,每條路徑則由一個MTJ(磁性隧道結)和一個FET(場效應管)開關串聯組成。
▲ 芯片佈局與MRAM 陣列排布(圖片來源:Nature)
研究人員將每列中這些新的位單元串聯起來,每個位單元的輸出電阻相加便得到了列電阻R。通過新的結構設計,列電阻R 取代了傳統(存內計算)結構中基於基爾霍夫定律的列電流總和,成為了列輸出,解決了MRAM 器件電阻較小的問題。
簡單來說,就是三星電子開發了一種MRAM 陣列芯片,用新的“電阻總和”內存計算架構取代了標準的“電流和”內存計算架構,從而解決了單個MRAM 器件的小電阻問題。
為了將這種新的MRAM 陣列用於AI 計算,研究人員採用了二值神經網絡(BNN)算法。這種算法的精度可以以網絡大小為代價,將每個實值權值表示為二值化函數,或以計算速度為代價將每個實值輸入數據表示為多個二值化函數序列,以提高BNN 算法的精度。
該研究中,三星電子採用了後一種方式,將每個輸入數據擴展為8 位編碼,以抑制噪聲。之後,研究人員用兩層BNN 網絡以對MNIST 數據集進行分類。
MNIST 數據集來自美國國家標準與技術研究所(NIST),訓練集和測試集均由不同的手寫數字組成,數據集和測試集50% 的手寫數字來自高中生,另外50% 來自美國人口普查局的工作人員。
▲ 不同的手寫數字7(圖片來源:CSDN)
研究人員用MRAM 陣列執行了對1 萬個手寫數字圖像的分類,並重複了三次,得到了93.23±0.05% 的準確率。測試後,研究人員又通過VGG-8 神經網絡對1 萬個手寫數字圖像進行了分類,其準確率高達98.86±0.06%。
除了手寫數字分類,三星電子還用4 個MRAM 陣列芯片運行了人臉檢測算法。在這一步,MRAM 陣列芯片並沒有對場景中的所有對象進行人臉認證,而是先檢測場景中是否存在人臉,確認存在後再激活更高功率的人臉認證算法。
通過這種方法,MRAM 陣列芯片從2000 個無遮罩人臉場景中檢測到1851 張人臉,準確率為92.5%;從500 個遮罩人臉場景中檢測到483 張人臉,準確率為96.6%,總體準確率為93.4%。此外,MRAM 陣列芯片可以和相機結合實時檢測人臉。
▲ 4 個MRAM 陣列芯片與相機相連實時人臉檢測(圖片來源:Nature)
集成多種器件面臨挑戰,未來或可用於生物神經元網絡
對於這項研究,研究人員寫道,MRAM 陣列運行存內計算的一個重要挑戰是構建AI SoC(片上系統),將許多陣列和數據轉換器、數字電子設備進行集成。
研究人員還強調,寬泛來說,內存陣列不僅可以用來運算神經網絡算法,也可以作為潛在的生物神經元網絡載體。
2021 年9 月,三星電子和哈佛聯合在Nature 子刊Nature Electronics 上發表了名為《Neuromorphic electronics based on copying and pasting the brain(基於復制和粘貼大腦的神經形態電子學)》的論文,提出了一種將大腦神經元連接圖(neuronal wiring map)“複製、粘貼”到高密度3 維存儲網絡上的可能。
▲ 三星此前“複製、粘貼”大腦的研究(圖片來源:Nature)
MRAM 陣列研究的第一作者Seungchul Jung 稱,存內計算與人類大腦的計算類似,因為人類的計算也發生在記憶或突觸網絡中。雖然MRAM 陣列當前的計算目的並非模仿大腦,但這種固態存儲網絡將來可能會被用作模擬大腦突觸的平台。
結語:新研究或將豐富三星存內計算產品
近年來,存內計算已逐漸成為產業界和學術界的公識,相關論文反復出現在ISSCC 和IEDM 等電子領域的頂級會議中,台積電等半導體頭部廠商也都在佈局和探索。
三星電子作為全球存儲龍頭,更是一直在關注存內計算技術。去年2 月,三星電子便公佈了其首款集成了AI 計算能力的高帶寬內存(HBM),可以節省70% 以上的能耗並提供2 倍以上的系統性能。本次基於MRAM 的存內計算研究豐富了三星在存內計算領域的佈局,未來或許能夠看到更多類型的存內計算產品出現在市場上。