NVIDIA合作開源社區將GPU加速帶入Spark 3.0
NVIDIA方面宣布與開源社區達成合作，為 Apache Spark 3.0 帶來端到端的GPU加速。Apache Spark 3.0是一種用於大數據處理的分析引擎，目前已被全球超過500,000名數據科學家所使用。
按照計劃，隨著Spark 3.0 於春季晚些時候發布，數據科學家和機器學習工程師將首次能夠把革命性的GPU 加速應用於普遍使用SQL 數據庫操作進行的ETL（提取、轉換和加載）數據處理工作負載中。
此外，AI 模型訓練將能夠在相同的Spark 集群上進行處理，而不是將工作負載作為單獨的流程在單獨的基礎架構上運行。這樣就可以對整個數據科學的處理流程進行高性能數據分析，對從數據湖到模型訓練所涉及的數十、乃至數千TB 的數據進行加速，而且無需對已被應用於本地和雲端Spark 應用程序的現有代碼進行修改。
NVIDIA 企業計算部門負責人Manuvir Das 表示：“數據分析是當今企業和研究人員面臨的最大的高性能計算挑戰。” “從ETL 到培訓再到推理，整個Spark 3.0 方案的原生GPU 加速為用戶提供了最終將大數據潛力與AI 性能相連所需的性能和規模。 ”
基於與NVIDI A的戰略AI 合作關係，Adobe 是最早在Databricks 上運行Spark 3.0 預覽版的公司之一。Adobe 已在Adobe Experience Cloud 中使用GPU 加速數據分析技術進行產品開發，並為各項推進數字化業務進程的功能提供支持。並且在初步測試中，其已將性能提高了7 倍，以及節省了90％ 的成本。
性能提升後的Spark 3.0 讓科學家能夠訓練包含有更大數據集的模型，並增加反複訓練模型的頻率，從而提高模型的精度。現在，數據科學家每天可以處理數TB的新數據，這對於需要為在線推薦系統提供支持或分析新研究數據的數據科學家們而言至關重要。此外，處理速度的加快，減少了交付結果所需的硬件資源，從而節省了大量成本。
Adobe 機器學習高級總監William Yan 表示：“相比於在CPU 上運行Spark，NVIDIA 加速的Spark 3.0 性能速度得到了大幅提高。伴隨著GPU 性能的飛躍性提升，也將為我們全套Adobe Experience Cloud 應用中AI 功能的提升帶來新的可能性。”
NVIDIA正在為Apache Spark 貢獻一種新的開源 RAPIDS 加速器，以幫助數據科學家提高其數據流程的端到端性能。該加速器能夠將之前需要在CPU 上運行的功能轉到GPU 上運行，以發揮GPU 的性能：
- 在無需更改任何代碼的情況下顯著提高Spark SQL 和DataFrame 的運行性能，從而加速Spark 中的ETL 數據流程。
- 無需獨立的機器學習和深度學習集群，即可在相同的基礎架構上加速數據準備和模型訓練。
- 加速Spark 分佈式集群中各節點之間的數據傳輸性能。這些資源庫使用UCF Consortium 的開源UCX（Unified Communication X）框架，並通過使數據直接在GPU 內存之間移動來最大程度地減少延遲。
Spark 3.0 預覽版下載地址：