Cerebras Systems發布了他們的第三代晶圓級AI加速晶片「WSE-3」(Wafer Scale Engine 3)，規格參數更加瘋狂，而且在功耗、價格不變的前提下性能翻了一番。2019年的第一代WSE-1基於台積電16nm工藝，面積46225平方毫米，晶體管1.2萬億個，擁有40萬個AI核心、18GB SRAM緩存，支援9PB/s內存頻寬、100Pb/s互連頻寬，功耗高達15千瓦。

2021年的第二代WSE-2升級台積電7nm工藝，面積不變還是46225平方毫米，晶體管增至2.6萬億個，核心數增至85萬個，緩存擴至40GB，內存頻寬20PB/s，互連頻寬220Pb/s。

如今的第三代WSE-3再次升級為台積電5nm工藝，面積沒說但應該差不多，畢竟需要一塊晶圓才能造出一顆晶片，不可能再大太多了。

電晶體數量持續增加達到驚人的4兆個，AI核心數進一步增加到90萬個，快取容量達到44GB，外部搭配記憶體容量可選1.5TB、12TB、1200TB。

乍一看，核心數量、快取容量增加的不多，但效能實現了飛躍，峰值AI算力高達125PFlops，也就是每秒12.5億億次浮點計算，堪比頂級超算。

它可以訓練相當於GPT-4、Gemini十幾倍的下一代AI大模型，能在單一邏輯記憶體空間內儲存24兆參數，無需分區或重構。

用它來訓練1兆參數大模型的速度，相當於用GPU訓練10億參數。

四顆並聯，它能在一天之內完成700億參數的調教，而且支援最多2048路互連，一天就可以完成Llama 700億參數的訓練。

WSE-3的具體耗電量、價格沒公佈，根據上代的情況看應該在200多萬美元。