IBM 宣佈在其watsonx 人工智慧和資料平台上提供由Mistral AI 開發的熱門開源Mixtral-8x7B 大型語言模型(LLM)，以繼續擴展功能，幫助客戶利用IBM 自身的基礎模型和一系列開源供應商的模型。IBM 提供了Mixtral-8x7B 的最佳化版本，在內部測試中，與普通模型相比，它能夠將吞吐量（即在給定時間內可處理的資料量）提高50%。

這有可能將延遲時間縮短35-75%，具體取決於批量大小–加快洞察時間。這是透過一個稱為量化的過程來實現的，該過程減少了LLM 的模型大小和記憶體需求，反過來又能加快處理速度，有助於降低成本和能耗。

Mixtral-8x7B 的加入擴展了IBM 的開放式多模式策略，以滿足客戶的需求，為他們提供選擇和靈活性，從而在其業務中擴展企業人工智慧解決方案。透過數十年的人工智慧研發、與Meta 和Hugging Face 的開放合作以及與模式領導者的合作，IBM 正在擴展其watsonx.ai 模式目錄，並引入新的功能、語言和模式。IBM 的企業就緒基礎模型選擇及其watsonx 人工智慧和資料平台可以幫助客戶利用生成式人工智慧獲得新的洞察力和效率，並基於信任原則創建新的業務模式。IBM 可協助客戶為金融等目標業務領域的正確使用案例和性價比目標選擇正確的模型。

Mixtral-8x7B 採用了稀疏建模（一種創新技術，只查找和使用數據中最重要的部分，以創建更高效的模型）和專家混合技術（Mixture-of-Experts）的組合，後者將擅長並解決不同部分問題的不同模型（”專家”）結合在一起。Mixtral-8x7B 模型因其能夠快速處理和分析大量數據，提供與背景相關的見解而廣為人知。

IBM 軟體公司產品管理與成長資深副總裁Kareem Yusuf 博士表示：「客戶要求選擇性和彈性，以便部署最適合其獨特用例和業務要求的模型。透過在watsonx上提供Mixtral-8x7B和其他模型，我們不僅為他們提供了部署人工智慧的可選性，還為人工智慧建構者和業務領導者提供了一個強大的生態系統，使他們能夠利用工具和技術推動不同行業和領域的創新。”

本週，IBM也宣佈在watsonx上提供由ELYZA公司開源的日本LLM模型ELYZA-japanese-Llama-2-7b。IBM也在watsonx上提供Meta的開源模型Llama-2-13B-chat和Llama-2-70B-chat以及其他第三方模型，未來幾個月還將提供更多。