在過去幾年時間裡，NVIDIA 深耕AI 領域，他們的GPU 不僅成為HPC 的首選，也成為包括AI 和深度學習生態系統在內的數據中心的首選。在最新公佈的開發者博文中，NVIDIA 宣布正利用AI 來設計和開發GPU，其最新的Hopper GPU 擁有將近13000 個電路實例，而這些實例完全由AI 創建。

在NVIDIA Develope 上發布的新博客中，該公司重申了其優勢以及它自己如何利用其AI 功能來設計其迄今為止最強大的GPU–Hopper H100。NVIDIA GPU 主要是使用最先進的EDA（電子設計自動化）工具設計的，但在利用PrefixRL 方法的AI 的幫助下，使用深度強化學習優化並行前綴電路，公司可以設計更小、更快、更節能的芯片，同時提供更好的性能。

計算機芯片中的算術電路是使用邏輯門網絡（如NAND、NOR 和XOR）和電線構成的。理想的電路應具有以下特點：

● 小：較小的區域，以便更多電路可以安裝在芯片上。

● 快速：降低延遲以提高芯片的性能。

● 消耗更少的功率：芯片的功耗更低。

NVIDIA 使用這種方法設計了近13000 個AI 輔助電路，與同樣快速且功能相同的EDA 工具相比，它們的面積減少了25%。但是PrefixRL 被提到是一項計算要求非常高的任務，並且對於每個GPU 的物理模擬，它需要256 個CPU 和超過32,000 個GPU 小時。為了消除這個瓶頸，NVIDIA 開發了Raptor，這是一個內部分佈式強化學習平台，它特別利用NVIDIA 硬件進行這種工業強化學習。

Raptor 具有多項可提高可擴展性和訓練速度的功能，例如作業調度、自定義網絡和GPU 感知數據結構。在PrefixRL 的上下文中，Raptor 使得跨CPU、GPU 和Spot 實例的混合分配工作成為可能。

這個強化學習應用程序中的網絡是多種多樣的，並且受益於以下幾點。

● Raptor 在NCCL 之間切換以進行點對點傳輸以將模型參數直接從學習器GPU 傳輸到推理GPU 的能力。

● Redis 用於異步和較小的消息，例如獎勵或統計信息。

● 一種JIT 編譯的RPC，用於處理大容量和低延遲的請求，例如上傳體驗數據。

NVIDIA 得出結論，將AI 應用於現實世界的電路設計問題可以在未來帶來更好的GPU 設計。完整的論文在此處，您也可以在此處訪問開發人員博客以獲取更多信息。