英特爾將其Python NPU 加速庫開源
英特爾已將其NPU 加速庫(intel-npu-acceleration-library)開源,作為Windows 和Linux 系統的用戶空間庫,用於與其新款Meteor Lake 筆記型電腦上的神經處理單元(NPU)介面。
英特爾長期以來一直在開發iVPU Linux 核心驅動程序,該驅動程式位於核心上游,用於從Meteor Lake 開始支援英特爾NPU(以前稱為VPU)。這個NPU 加速函式庫是一個方便的Python 函式庫,可以充分利用NPU 的潛力。
英特爾神經處理單元庫支援8 位元量化、Float16 支援、torch.compile 支援、靜態形狀推理和其他功能。
NPU 加速程式庫可從GitHub 下載,也可透過PIP 方便安裝:
英特爾NPU 加速庫GitHub 頁面上的Python 程式碼範例展示了在NPU 上進行單矩陣乘法運算、為NPU 編譯模型,甚至在NPU 上運行Tiny-Llama 模型。隨著人工智慧時代的到來以及NPU 在更多英特爾處理器上的應用,這個函式庫將變得越來越重要。