根據報道，三星推出了一款名為CXL 分層記憶體混合記憶體模組(CMM-H TM：CXL Memory Module-Hybrid for Tiered Memory) 的新型Compute Express Link (CXL)附加卡，該卡新增了可由CPU 和加速器遠端存取的額外RAM 和快閃記憶體。

此擴充卡混合了高速DRAM和NAND閃存，旨在提供一種經濟高效的方式來提高伺服器的內存容量，而無需使用本地安裝的DDR5內存，而這在超額認購的伺服器中通常是不可行的。

三星的解決方案在Compute Express Link (CXL)上運行，這是一種開放式行業標準，可在CPU 和加速器之間提供緩存一致性互連，從而允許CPU 使用與利用CXL 的連接設備相同的內存區域。遠端記憶體（或在本例中為混合RAM/快閃記憶體裝置）可透過PCIe 總線訪問，但代價是大約170-250 奈秒的延遲，或大約是NUMA 跳的成本。

CXL 於2019 年推出，目前處於第三個版本，支援PCIe 6.0。

CXL 規範支援三種類型的裝置：Type 1 裝置是缺乏本地記憶體的加速器，Type 2 裝置是具有自行記憶體的加速器（例如具有DDR 或HBM 的GPU、FPGA 和ASIC），Type 3 裝置由記憶體裝置組成。三星設備屬於Type 3 類別。

CMM-H TM 是三星CMM-H CXL 記憶體解決方案的一個分支。三星表示，它是世界上第一個基於FPGA的分層CXL 記憶體解決方案，旨在「應對記憶體管理挑戰，減少停機時間，優化分層記憶體的調度，並最大限度地提高效能，同時顯著降低總擁有成本。”

這種新的CMM-H 速度不如DRAM；然而，它透過快閃記憶體增加了強大的容量，但透過擴展卡內建的巧妙的記憶體快取功能隱藏了大量延遲。熱數據被轉移到卡的DRAM 晶片中以提高速度，而較少使用的數據則儲存在NAND 儲存中。三星表示，這種行為會自動發生，但某些應用程式和工作負載可以透過API 向裝置發出提高效能的提示。當然，這會增加快取資料的一些延遲，這並不適合所有用例，特別是那些依賴嚴格99% 效能的用例。

三星的新型擴充卡將為客戶提供擴展伺服器記憶體容量的新方法。隨著更先進的大型語言模型繼續要求其主機和加速器提供更多內存，這種新的設計範例變得越來越重要。三星公佈3D DRAM規劃

全球最大的記憶體晶片製造商三星電子公司計劃於2025年推出人工智慧產業遊戲規則改變者三維(3D) DRAM，目前以規模較小的競爭對手SK海力士公司主導的全球人工智慧半導體市場。

3D為主導的DRAM晶片透過垂直互連單元而不是像目前那樣水平放置它們，能將單位面積的容量增加了三倍。相較之下，高頻寬記憶體（HBM）垂直互連多個DRAM晶片。根據首爾的半導體產業消息知情人士週二透露，三星上個月在加州聖荷西舉行的全球晶片製造商聚會Memcon 2024上公佈了其3D DRAM開發路線圖。

這家總部位於韓國水原的巨頭計劃於2025年推出基於垂直通道晶體管技術的早期版本3D DRAM，該技術在構成單元的晶體管中該垂直設置通道（電子流動的通道），並用充當開關的門。該公司還計劃在2030年推出一個式DRAM，將包括在內部的所有單元都在一起。

目前DRAM 在主機板上包含多達620 億個單元，電晶體在平面上密集集成，這使得不可能避免漏電流和乾擾。由於3D DRAM 中的電晶體由於可以在同一上放置更多單元，因此3D DRAM預計將增加單位晶片內的容量。

3D DRAM的基本容量為100 GB，幾乎是目前可用DRAM最大容量36 GB的三倍。有消息稱，到2030年，全球3D DRAM市場可能會增長到1000億美元，但由於市場仍處於起步階段AI半導體市場的領導者該技術有望幫助三星審視全球AI半導體行業的王座，擊敗目前在AI晶片領域主導地位的SK海力​​士，他們在AI應用的HBM、DRAM全球市場中佔有90%的份額」業內人士表示。

儘管三星的競爭對手（包括SK海力士和美光科技公司）一直在研究該技術，但尚未公佈任何3D DRAM的路線圖。 SK海力士在各行業會議上介紹了其3D DRAM的概念。美光於2019年開始開發3D DRAM，擁有約30項此技術專利，是三大晶片製造商中最多的。

十多年來，隨著智慧型手機等配備DRAM的電子設備變得更小、功能更多，全球DRAM產業一直在開發具有更大數據處理能力的更小晶片。人工智慧的快速發展需要快速大規模處理數據，這一趨勢正在加劇。 3DDRAM預計將滿足此類晶片的需求，因為它比現有的DRAM更小，容量更大。

短期內，新型半導體可能用於智慧型手機和筆記型電腦等小型資訊科技設備，這些設備需要高性能DRAM 來實現設備上的AI 功能。汽車產業預計將長期使用3D DRAM，因為電動車和自動駕駛汽車需要能夠即時處理從道路收集的DRAM 的大數據。

三星正在開發主導3D DRAM領域的技術，以期到2027年至2028年將其關鍵尺寸縮小到8-9奈米(nm)。最新的DRAM預計為12 nm左右。該公司還積極擴大3D DRAM研發人員隊伍它在其半導體研究中心針對該技術成立了下一代製程開發團隊。