Microsoft Copilot Studio 讓企業能夠透過直覺的圖形介面建立自訂AI 助理和虛擬代理程式。創建完成後，這些助手和代理可以直接在Copilot Studio 中進行測試和發布。

今天，微軟宣佈在Copilot Studio 中推出名為「電腦使用」的全新研究預覽工具。該工具允許Copilot Studio 客服人員與任何網站或桌面應用程式進行交互，就像它們本身就是工具一樣。客服人員現在可以點擊按鈕、選擇選單，並在應用程式和網站上的欄位中輸入資訊。全新的「電腦使用」工具使客服人員能夠在沒有可用API 進行程式整合的環境中運作。

「電腦使用」是基於大型語言模型(LLM)，可自動適應應用程式和網站的變化。據微軟稱，該工具包含內建推理功能，可自主解決問題。

為了確保「電腦使用」工具適用於企業，它在微軟託管的基礎架構上運行，從而無需組織管理自己的伺服器。微軟強調，客戶資料將保留在微軟雲端邊界內，不會用於訓練大型語言模型。

微軟強調了「電腦使用」工具增強機器人流程自動化（RPA）的以下方式：

• 它會即時回應變化：當按鈕或螢幕發生變化時，該工具會繼續工作而不會中斷您的流程。
• 它易於使用：您可以用自然語言描述您想要的內容，無需編碼，並使用計算機使用推理鍊和計劃的UI 自動化的實時並排視頻來測試和完善提示。
• 它是用智慧建構的：代理可以看到螢幕上的內容並即時做出明智的決策，即使在複雜或不斷變化的環境中也是如此。
• 它具有完整的可見性：製造商可以隨意查看電腦使用活動的歷史記錄，包括捕獲的螢幕截圖和推理步驟。

今年年初，OpenAI 宣布推出Operator，它採用了電腦使用代理(CUA) 模型，將GPT-4o 的視覺功能與透過強化學習實現的高階推理能力結合。微軟或許正在利用Operator 背後相同的底層技術，為Copilot Studio 中的這款全新「電腦使用」工具提供支援。

有興趣的組織可以填寫此表格以獲得微軟的邀請來試用這個新工具。