在今年二月初，我們報導了三星新的HBM2記憶體將集成了AI引擎，HBM-PIM（Aquabolt-XL）晶元最高可提供1.2 TFLOPS嵌入式計算能力，使記憶體晶元本身可以執行CPU、GPU、ASIC或FPGA的操作。 近日，三星在Hot Chips 33上介紹了未來更為龐大的開發計劃，會將PIM （processing-in-memory） 技術擴展到DDR4、DDR5、LPDDR5X、GDDR6和HBM3記憶體上。

三星將HBM-PIM晶元直接加入到堆疊中，可以與符合JEDEC標準HBM2記憶體控制器配合使用。 三星使用賽靈思（Xilinx）Alveo FPGA進行了測試，這款AI加速器有2.5倍的性能提升，能耗也降低了超過60%。 三星表示目前PIM技術已經可以和任何標準的記憶體控制器相容，但CPU廠商若能提供優化，在某些情況下會帶來更大的性能提升。

目前三星已經與一家CPU廠商一起測試HBM2-PIM，以便在未來產品中使用。 由於英特爾的Sapphire Rapids、AMD的Genoa、Arm的Neoverse平臺在內的新一代處理器都支援HBM記憶體，未來應用範圍會相當大。

顯然，PIM技術很適合數據中心使用，不過三星進一步將該技術轉向更為標準的記憶體。 這次三星演示了AXDIMM記憶體，這是對現有記憶體的優化，在緩衝晶元內集成了AI引擎，盡可能減少CPU和DRAM之間的大量數據交換，以提高效率。 AXDIMM記憶體可以插入到標準的DDR4伺服器記憶體插槽就能使用，無需大幅度改變現有的硬體架構。

三星表示已經有廠商使用AXDIMM內存在客戶的伺服器上進行測試，在特定的AI應用中，其性能提升了1.8倍，同時功耗降低了超過40%。 由於記憶體很快會反覆運算到DDR5，相信三星也會很快跟進，同時可以預期這項技術會在不久的將來推向市場。

三星的PIM技術不僅僅局限於相對高端的領域，也可以同樣轉向貼近消費者的普通產品，比如筆記型電腦、平板電腦、甚至手機。 三星已經計劃在LPDDR5記憶體中引入PIM技術，不過仍處於早期階段。 在LPDDR5-PIM記憶體（6400 MHz）的模擬測試中，其語音識別工作負載的性能提高了2.3倍，基於轉換器的翻譯性能提高了1.8倍，GPT-2文本生成能力提高了2.4倍，同時功耗都降低了60%以上。

雖然三星的PIM技術進展迅速，可以與標準的記憶體控制器配合使用，但一直沒有獲得JEDEC的認證，這是PIM技術被廣泛使用的主要障礙。 三星希望PIM規範可以標準化，從而進一步擴展記憶體產品的組合，比如加入到HBM3標準規範里。 目前JEDEC尚未正式發佈HBM3標準規範，仍在制定當中。

三星表示，將從HBM2的FP16向前推進到HBM3的FP64，這意味著晶元會具有擴展的功能。 FP16和FP32將保留供數據中心使用，而INT8和INT16將服務於 LPDDR5、DDR5和GDDR6記憶體，更好地適應不同的應用場景。

三星還會將PIM技術帶到到更多不同類型的記憶體里，例如GDDR6，這可以擴寬其應用範圍。 三星今年發佈了業界首款CXL記憶體模組，這是基於Compute Express Link標準的新型存儲產品，或許未來也會引入PIM技術。 隨著AI技術的興起，PIM技術或許比普通人表面看來更能改變現有的遊戲規則，或許在未來，GPU使用的顯存協助處理一些工作負載，以提升性能並降低功耗是有可能的。