在過去一年左右的時間裡，開源人工智慧模型在效能上已經明顯趕上了OpenAI、Google 和其他公司的流行閉源模型。 然而，由於在不同硬體上部署和維護這些模型所帶來的開銷，開發人員尚未廣泛採用這些模型。為了解決這個問題，Hugging Face 今天發布了Hugging Face Generative AI Services（HUGS），這是一個面向開發者的優化、零配置推理微服務，可以加速基於開放模型的AI 應用程式的開發。

HUGS 模型部署還提​​供了與OpenAI 相容的API，可直接取代建立在模型提供者API 之上的現有應用程式。 這將有助於開發人員輕鬆地從基於OpenAI 模型的應用程式遷移到基於開源模型的應用程式。

HUGS 基於文本生成推理和Transformers 等開源技術構建。 它經過最佳化，可在各種硬體加速器上運行開放模型，包括NVIDIA GPU、AMD GPU、AWS Inferentia（即將推出）和Google TPU（即將推出）。 目前已支援13 種流行的開放式LLM，包括Meta 的LLaMa，未來還將支援更多LLM。 HUGS 可以部署在亞馬遜網路服務、Google雲端平台和微軟Azure（即將推出）。 HUGS根據公有雲上每個容器的正常運作時間按需定價。

據Hugging Face稱，HUGS具有以下優勢：

• 在您的基礎架構中： 在您自己的安全環境中部署開放式模型。 讓您的資料和模型遠離網路！
• 零配置部署： 透過零配置設置，HUGS 可將部署時間從數週縮短到數分鐘，自動最佳化模型和服務配置，以滿足NVIDIA， AMD GPU 或AI 加速器的需求。
• 硬體優化推理： HUGS 基於Hugging Face 的文本生成推理(TGI) 技術，經過優化，可在不同硬體設定下實現最佳效能。
• 硬體靈活性： 在各種加速器上運行HUGS，包括NVIDIA GPU 和AMD GPU，即將支援AWS Inferentia 和Google TPU。
• 模型彈性：HUGS 相容於多種開源模型，確保人工智慧應用的靈活性和選擇性。
• 業界標準API： 利用與OpenAI API 相容的端點，使用Kubernetes 輕鬆部署HUGS，最大限度地減少程式碼變更。
• 企業發行版： HUGS 是Hugging Face 開源技術的企業發行版，提供長期支援、嚴格測試和SOC2 合規性。
• 企業合規性： 透過包含必要的授權和服務條款，將合規風險降至最低。

您可以在這裡了解有關HUGS 的更多資訊：

https://huggingface.co/blog/hugs

https://huggingface.co/docs/hugs

HUGS 注重開源和易用性，有可能使獲取強大人工智慧模型的途徑平民化，並加速創新人工智慧應用的開發。