早在四年前，AMD就曾設定目標，到2025年EPYC系列伺服器處理器和Instinct系列AI晶片的能效，較2020年提高30倍。如今，MI300X AI晶片基本上實現目標，時間提了早一年。根據THW報道，AMD兩個64核心EPYC 9575F CPU、八個Instinct MI300X AI晶片及2304GB DDR5記憶體的伺服器，Llama3.1-70B（vLLM 0.6.1.post2、TP8）測試推理效能，用一組複雜計算確定係統能源效率，並與2020年的舊機器比較，

結果顯示，新機能源效率是舊機的28.3倍。

不過，AMD並未透露2020年的舊機是何規格。但大機率是EPYC 7002系列，Zen 2架構，每個CPU最多64個核心，以及CDNA 1架構Instinct MI100 AI晶片。

AMD表示，除了強力硬體改進，更高效能效率是架構進步，加上軟體最佳化結合，是跳躍式進展。

今年10月的Advancing AI 2024大會上，AMD正式發表了新款AI晶片－GPU加速卡「Instinct MI325X」。它在大獲成功的MI300X基礎上再進一步，主要是增強了HBM記憶體部分。

MI325X配備了多達256GB HBM3E內存，相比於MI300X又增加了64GB。

MI325X也支援八塊並行組成一個平台，這就有多達2TB HBM3E、48TB/s頻寬，總的效能高達FP16 10.4 PFlops(每秒1.04億億次)、FP8 20.8 PFlops(每秒2.08億億次)億億次)、FP8 20.8 PFlops(每秒2.08億億次)億億次)、FP8 20.8 PFlops(每秒2.08億億次)億億次)、FP8 20.8 PFlops(每秒2.08億億次)億億次)、FP8 20.8 PFlops(每秒2.08億億次)億億。

對比NVIDIA H200，無論單卡或八卡平台，不同大模型推理的性能都可以領先20-40％。

訓練表現方面，單卡可領先H200 10％，八卡平台則持平。

MI325X加速卡和平台將在第四季度內投產，而合作夥伴的整機系統、基礎架構解決方案，將從明年第一季起連續推出。