近日，3D NAND 快閃記憶體和3D DRAM 創新技術的領先開發商NEO Semiconductor 宣布推出其3D X-AI晶片技術，旨在取代高頻寬記憶體（HBM） 內部的現有DRAM 晶片，透過在3D DRAM 中實現AI 處理來解決資料匯流排頻寬瓶頸。

NEO Semiconductor 稱，3D X-AI 可以減少AI 工作負載期間HBM 和GPU 之間傳輸的大量數據，這將徹底改變AI 晶片的性能、功耗和成本，助力各類生成式AI應用。具體來說，採用NEO Semiconductor的3D X-AI技術的AI晶片可以實現：

1、100 倍效能加速：包含8，000 個神經元電路，可在3D 記憶體中執行AI 處理；

2.功耗降低99%：最大限度地減少將資料傳輸到GPU 進行運算的需求，從而降低資料匯流排的功耗和發熱。

3、8 倍記憶體密度：包含300 個DRAM層，並允許通過類似HBM 的堆疊，可以運行更大的AI 模型。

其實早在2023年5月，NEO Semiconductor就宣布將推出全球首款3D DRAM技術，該技術的思維跟3D NAND Flash類似，都是透過堆疊層數來提高記憶體容量，類似於3D NAND Flash晶片中的FBC浮閘極技術，但增加一層Mask光罩就可以形成垂直結構，因此良率高，成本低，密度大幅提升。

NEO Semiconductor當時就表示，其將推出的第一代3D X-DRAM就可以做到230層堆疊，核心容量128Gb，而目前2D DRAM記憶體的核心容量還在16Gb。

而此次NEO Semiconductor推出的3D X-AI 晶片，就是在進一步提升3D X-DRAM層數的基礎上加入了面向AI的神經元電路。

具體來說，單一3D X-AI 晶片包括300 層容量為128 Gb 的3D DRAM 單元和一層具有8000 個神經元的神經迴路。根據NEO Semiconductor公佈的數據，這可以支援每個晶片高達10 TB/s 的AI 處理吞吐量。如果使用12 個3D X-AI 晶片透過類似HBM的堆疊封裝， 則可實現120 TB/s 的處理吞吐量，從而實現100 倍的效能提升。

「由於架構和技術效率低下，目前的AI晶片浪費了大量的性能和功率，」NEO Semiconductor的創始人兼首席執行官Andy Hsu說。 「目前的AI 晶片架構將資料儲存在HBM 中，並依賴GPU 執行所有運算。這種分離的資料儲存和資料處理架構使得資料匯流排成為不可避免的效能瓶頸。透過資料匯流排傳輸大量資料將會導致效能受限和非常高的功耗。

Network Storage Advisors總裁Jay Kramer表示：「3D X-AI技術的應用可以加速新興AI用例的開發，並促進新用例的創造。利用3D X-AI技術創建下一代優化的AI晶片，將開啟AI應用創新的新時代。