人工智慧公司Anthropic於本週二推出了新的訊息批次API，使企業能夠以標準API 呼叫一半的成本處理大量資料。這款新產品可在24 小時內非同步處理多達10000 次查詢，這標誌著企業在處理大數據時向更方便、更經濟高效地使用高級人工智慧模型邁出了重要一步。

人工智慧的規模經濟： 批量處理降低成本

與即時處理相比，批次API在輸入和輸出代幣方面提供了50% 的折扣，這使得Anthropic 能夠與其他人工智慧提供者（如OpenAI）展開更激烈的競爭，後者在今年早些時候推出了類似的非同步批次功能。

此舉標誌著人工智慧產業定價策略的重大轉變。 透過以折扣價提供批量處理服務，Anthropic 有效地為人工智慧運算創造了規模經濟。

這可能會導致以前被排除在大規模人工智慧應用之外的中型企業採用人工智慧的數量激增。

這種定價模式的影響不僅僅是節約成本。 它可以從根本上改變企業處理資料分析的方式，有可能帶來更全面、更頻繁的大規模分析，而這些分析以前被認為是過於昂貴或資源密集的。

模型	輸入成本（每100 萬個詞元）	輸出成本（每100 萬個詞元）上下文窗口	上下文視窗
GPT-4o	$1.25	$5.00	128K
Claude 3.5 Sonnet	$1.50	$7.50	200K

定價比較： GPT-4o 與克勞德的高級模式比較；成本顯示為每百萬個詞元（表格來源：VentureBeat）

從即時到適時： 重新思考人工智慧的處理需求

Anthropic 已透過公司的API 為其Claude 3.5 Sonnet、Claude 3 Opus 和Claude 3 Haiku 模型提供批次API。 Google Cloud 的Vertex AI 預計很快就會支援Claude，而透過Amazon Bedrock 使用Claude 的客戶已經可以存取批量推理功能。

批次功能的推出標誌著對企業人工智慧需求的理解日趨成熟。 雖然即時處理一直是許多人工智慧開發的重點，但許多業務應用並不需要即時結果。 Anthropic 透過提供一種速度較慢但更具成本效益的選擇，承認對於許多用例來說，”正確的時間”處理比即時處理更重要。

這種轉變可能會使企業在實施人工智慧時採用更細緻的方法。 企業可能會開始在即時處理和批次之間策略性地平衡人工智慧工作負載，優化成本和速度，而不是預設最快（通常也是最昂貴）的選項。

批次處理的雙面刃

儘管好處顯而易見，但轉向批量處理也對人工智慧的未來發展方向提出了重要問題。 雖然它使現有模型更容易獲取，但也存在著一種風險，即它可能會分散推進即時人工智慧能力的資源和注意力。

成本與速度之間的權衡在技術領域並不新鮮，但在人工智慧領域，這種權衡顯得更加重要。 隨著企業習慣於大量處理的低成本，提高效率和降低即時人工智慧處理成本的市場壓力可能會減少。

此外，批次的非同步性可能會限制依賴即時人工智慧回應的應用的創新，如即時決策或互動式人工智慧助理。

在推動批次和即時處理能力之間取得適當的平衡對於人工智慧生態系統的健康發展至關重要。

隨著人工智慧產業的不斷發展，Anthropic 的新批量API 既是機會也是挑戰。 它為企業大規模利用人工智慧開闢了新的可能性，有可能增加對先進人工智慧能力的存取。

同時，它也強調了在開發人工智慧時需要深思熟慮，不僅要考慮眼前的成本節約，還要考慮長期的創新和多樣化的用例。

這種新產品能否取得成功，將取決於企業如何將批次整合到現有工作流程中，以及如何在人工智慧策略中有效平衡成本、速度和運算能力之間的權衡。