微軟昨晚剛上演了一波AI PC革命，今天又全是Copilot。而最令人意外的，竟是奧特曼本人登台預告了下一代模型將會帶來新的模態和整體智能。在今天的開發者大會上，曾經誓要「顛覆」10億打工人的Copilot，依然是全程的主角。

沒想到70年後，還是要靠微軟重新定義軟體

不僅有Copilot加持的全新AI PC，日常生活助理Copilot，還有為全世界開發者提供的AI工具堆疊。

更驚喜的是，Sam Altman竟然在發表會的最後，被CTO Kevin Scott請上台了！

兩人開場先是一波寒暄，然後共同感慨，這簡直是瘋狂的一周，瘋狂的一年！

針對前段時間的OpenAI離職潮，奧特曼似乎用了一些隱晦的話語來暗戳戳回應：「為了讓GPT變得穩健、安全，我們做了很多工作。OpenAI 創建了眾多團隊來確保LLM按預期工作。

三大殺器

在過去的一年半里，世界發生了許多變化，其中最令Altman本人震驚的事是什麼？

Altman表示，數百萬開發者是推動過去一年世界巨變的核心。

從GPT-4 ，再到GPT-4o的發布，儘管模型API推出時間不久，但我從未見過一項技術能如此迅速地得到有意義的應用。

人們正在建構我們從未想過的創新應用，完全展現了開放API的價值所在。

而Kevin Scott也調侃道：看得出來，你們很好地利用了手上的超強超算。

2020年交付的「鯊魚」級超算訓出了GPT-3，接下來的「虎鯨」級超算訓出GPT-4，而現在「鯨魚」級超算微軟正交付給OpenAI

奧特曼也表示，新的模態和整體智能將是OpenAI下一個模型的關鍵。

他預計模型將會變得更聰明、更強大，更安全，而且GPT-4o將會速度更快，成本更低。

是的，就像摩爾定律推動資訊革命一樣，Scaling Law和模型架構一起，改變了我們使用資料、產生資料的方式。

在這些縮放定律的影響下，我們擁有一個新的自然使用者介面，這是一個模型，這意味著支援文字、語音、圖像、視訊作為輸入和輸出。

Microsoft Copilot，是日常生活中的助手；Copilot stack，則可以讓我們建立AI程式、解決方案等。

還有一個重頭戲，當然就是昨天發布的全新Copilot+ PC，它直接打破了紀錄，成為有史以來最快的AI電腦！

如今，Windows成為了建構AI應用的最佳平台。而這種影響，不啻於Win 32對圖形使用者介面的意義。

GitHub Copilot「插件商店」首發

繼Copilot成為最受歡迎的程式碼補全工具和「個人助理」之後，微軟這次又更新了這個效率提升神器。

微軟表示，許多開發者在程式碼之外花了75%的時間，例如追蹤工作流程、以及撰寫需求文件和規格說明等。

不僅如此，定位和修復bug的工作往往需要頻繁地進行上下文切換，開發者在資料庫、IDE、程式碼倉庫、監控工具、雲端平台之間疲於奔命，無法專注於程式碼本身。

這正是全新GitHub Copilot可以發揮作用的地方。

它可以透過對話的方式將所有流程整合在一起，幫你呼叫所有工具和平台，開發者只需要專注於IDE介面的核心程式碼內容，並最大限度地減少上下文切換。

不僅如此，基於強大的網路搜尋和推理決策能力，Copilot還能回答關於開發過程的問題。

例如在下面這個demo中，用西班牙文描述需求，Copilot就可以自動寫出程式碼，並為Azure上的部署提供建議。

GitHub產品副總裁表示：「使用自然語言程式設計將繼續降低軟體開發的門檻。未來，10億人可以利用GitHub Copilot，以自然語言的方式與開發技術堆疊中的任何工具集成，在GitHub上建立程式碼。 」

GitHub Copilot支援各種各樣的開發工具和平台，包括DataStax, Docker, MongoDB, Octopus Deploy, Pangea, Pinecone, Product Science, ReadMe, Sentry, Stripe以及微軟自家的Office全家桶、Azure和Teams。

GitHub產品高級副總裁Mario Rodriguez表示：“我們的目標是使GitHub Copilot成為最整合、最強大、最聰明的AI平台。”

在此基礎上延伸出的Copilot Workspace更是提高了開發團隊使用GitHub管理專案程式碼的效率。

之前，使用者只能透過Git Bash命令列上傳專案文件，圖形化介面能進行的操作非常有限。

有了Copilot Workspace，各種時間軸和程式碼分支一目了然，上傳檔案也容易很多。

而且還提供了非常清晰的程式碼變動視覺化介面，讓你自始至終都對專案有滿滿的掌控感。

截止目前，GitHub Copilot仍處於內測階段，之後將在GitHub插件市場中發布。

不僅如此，對開發者來說，更酷的是——你可以自訂自己的Copilot插件！

3種方式，定義自己的Copilot插件

SharePoint

SharePoint是微軟開發的組織內部儲存、管理和分享內容的平台，每天上傳數量超過20億條。

為了減少工作中搜尋和篩選內容的時間，微軟開發了從SharePoint創建Copilot的功能。

任何擁有SharePoint網站編輯權限的人，只需點擊幾下就可以自訂Copilot功能，還可以透過Teams聊天框、電子郵件等方式將創建好的Copilot分享給團隊中其他成員。

點選好SharePoint中允許存取的內容範圍，以及Copilot的身份和行為等訊息，它就可以立刻投入工作了。

例如內容回答問題、總結資訊或尋找文件，基於你先前授權給它的內容，Copilot可以提供最新、最精確的回應。

想要在SharePoint之外建立自己的Copilot?

沒問題！微軟也發布了Copilot Studio，提供更靈活的自訂功能。

Copilot Studio

在SharePoint之外，Copilot Studio支援超過1000個資料連接器，方便你將各種資料來源匯入Copilot。

Copilot Studio依舊採用類似SharePoint中「對話驅動」的介面，你可以像聊天一樣描述－想要Copilot有什麼樣的知識和功能，Copilot Studio就可以立即創建，並支援即時的測試、修改和發布。

為了使用者更容易上手使用，Studio中也內建了各種Copilot模板，例如用於組織清晰度的Organizatiion Navigator、用於員工健康管理的Wellness等，未來幾個月還會有更多Copilot模板發布。

使用Copilot Studio，你會有一種一切盡在掌握的感覺。

VSCode

如果你是高階玩家，喜歡用程式碼優先的方式建立插件，也可以使用Visual Studio Code和Teams Toolkit，寫函數來精確定義Copilot的工作流程。

Copilot新能力解鎖

Copilot早就不止步於程式碼補全功能，而是已經演變“個人助理”，成為打工人們的效率提升神器，而且與多種工具和平台合作，構建起一套完整的“Copilot生態”。

本次Build大會上，微軟又為Copilot解鎖了一系列新功能。

Team Copilot

Team Copilot將功能延伸到「個人助理」之外，開始成為團隊的一員。

它能承擔單獨的職責，提升整個團隊的工作效率，例如組織並記錄會議、追蹤討論內容等，甚至可以充當專案經理，為成員分配任務並及時跟進ddl。

對於聊天介面中團隊成員的討論進展，Copilot也能即時更新自己的記錄內容。

可以在Microsoft自家開發的Teams、Loop或Planner等協作辦公軟體中使用Team Copilot。

這項功能將在今年稍後以預覽版形式向有Copilot許可證的用戶發布。

Agents Copilot

如果Copilot只是進化到團隊助手，你可能還是小看了微軟。

就像使用者可以自訂Copilot插件一樣，你也可以使用Copilot Studio自訂一個Copilot Agent。

它不再像原來一樣被動地等著你問問題或分配任務，而是變成「事件觸發」的智能體，像虛擬員工一樣工作並自動執行任務。

這意味著，Copilot Agent不僅需要記憶、上下文推理以及根據回饋學習的能力，而且需要更加主動，能夠在後台自發性執行任務。

這樣的Copilot豈不是會讓大批白領失業？

微軟業務應用程式和平台公司副總裁Charles Lamanna在採訪中表示，它可以消除一些重複、瑣碎的工作，例如資料輸入等，也許都是沒有人真正想做的事情。

GPT-4o上新，多款基礎模型可用

除了Copilot華麗的示範之外，在開頭提到的三個平台中，最核心的是建立最完整的端對端堆疊－Copilot stack。

其中，最底層是基礎設施，然後是基礎模型層。

基礎設施

為了AI工作負載，微軟特意建構了一個全新的資料中心。

因此，微軟可以用每一兆瓦的功率，來降低AI的成本和耗電量。

截止2024年5月，Azure超算能力已經達到了30倍的成長！

可以說，他們提供了世界上最先進的AI加速器，開發者可以擁有最完整的AI加速器選擇。

從GPT-4到GPT-4o，不僅模型的速度增加了6倍，成本更是便宜了12倍。

而這背後，是微軟與英偉達、AMD的深度合作，以及自研晶片的大力推進。

英偉達關鍵平台產品，都會引進微軟的雲端。

而說到和AMD的合作，微軟是第一個提供最新ND MI300X v5虛擬機器的雲端服務供應商。

無論對於AMD，還是對微軟，這都是一個意義重大的里程碑。

自研Azure Maia 100，只要你用過微軟的服務，或多或少都會接觸到。

而最新Azure Cobalt也開始進行公開預覽了，目前已經為Microsoft Teams等服務提供了數十億次對話的支援。

基礎模型

在基礎模型方面，微軟與O​​penAI展開了深度合作，而現在GPT-4o可以在Azure上進行訓練。

一張圖，展示了GPT-4o依舊是最強的模型。

而在如此強大的模型的加持下，Copilot甚至已經「進化」到指導我們怎麼玩遊戲了！

舉個例子，你想弄清楚如何在《我的世界》中製作一把劍，卻毫無頭緒。

Copilot會從頭教你：為了造一把劍，你需要先收集材料。按E鍵，就能開啟自己的材料庫了。

Copilot發現，我們缺乏製作劍刃的材料，為此，需要收集木材、石頭、鐵、金或鑽石。

忽然出現的小人，讓玩家嚇了一跳。

Copilot提示：這是一場殭屍賽跑，我們需要盡快擺脫它們。要嘛快速建一座方塊塔，或是快速找到一個避難場所，還可以挖到山的另一側。

此外，微軟首次介紹了十分強大的Agent能力。

想露營但找不到合適的鞋子怎麼辦？給它看一眼你的鞋，就能讓它給你意見了。

Agent分析道，這款非常適合夏季健行、讓雙腳保持涼爽，然而卻不是這次的最佳選擇。

既然如此，我們就讓Agent直接挑一款最適合的。

Agent發現，這次最適合的產品是TrekReady Hawking，它為腳踝提供了支撐，還能在寒冷的山區為腳部提供保暖。然後，它還幫我們把這雙鞋加入購物車。

當然，除了OpenAI的模型之外，微軟Azure平台也將提供多款可用的機型。

並且，微軟依舊擁抱開源社區，與Hugging Face合作。

最強小語言模式：Phi-3

除了引入外部模型之外，微軟一直以來都押注小模型，並引領了一場SLM革命。

從去年6月Phi-1面世，到Phi-1.5、Phi-2，再到如今Phi-3，微軟小模型已經完成四次迭代升級。

今天，Phi-3家族正式官方新成員：

Phi-3-vision、Phi-3-small，Phi-3-medium。

其實，Phi-3-small，Phi-3-medium對每個人來說，或許並不陌生了。

上個月，微軟首次亮相Phi-3-mini，經過3.3兆token訓練僅有38億參數，而且還可以部署在手機上，效能與Mixtral 8x7B和GPT-3.5相媲美。

論文網址：https://arxiv.org/pdf/2404.14219

另外，技術報告中，也首次展示了經過4.8T token訓練的7B模式Phi-3-small，以及14B模式Phi-3-medium。

具體來說，Phi-3-small提供了8k和128k上下文，實力與Llama-3-8B-In、Gemma 7B，以及Mistral 7B相當。

而提供了4k和128k上下文的Phi-3-medium，效能可以超越Mistral 8x7B。

而現在，這些模型已經在Hugging Face上發布，開發者可以下載權重並使用。

多模態Phi-3

真正引人注目的是，Phi-3在今天正式推出了多模態模型Phi-3-vision，有42億參數，128k上下文。

它可以完成一般的視覺推理任務，例如現場簡報中，詢問圖表中的資訊。

甚至，人們還可以使用Phi-3-vision進行OCR、表格理解、一般圖像理解等。

值得一提的是，這款輕量模型只花了一天半的時間，在512塊H100上完成了訓練。

它使用了500B視覺和文字token，其中「教科書資料集」一直以來都是Phi系列模型的訓練核心。

這次，Phi-3-vision的訓練的圖像資料來自，精選高品質圖文搭配的內容，還有新創建的「教科書」式的綜合資料。

其中包括，圖表、表格、示意圖、投影片等教授的數學、編碼、常識推理等。

儘管參數量級非常小，在多模態基準測試中，Phi-3-vision的效能超越了Claude 3 haiku、LlaVa和Gemini 1.0 Pro。

甚至，各項性能非常接近GPT-4V。

一些開發者已經上手體驗了，並稱令人印象極為深刻。

還有一些開發者也決定嘗試一番。

以上Phi-3模型，不僅可以在雲端運行，甚至可以在本地運行。

SOTA小模型Phi-Silica

此外，納德拉也在今天發布了Phi系列的SOTA模型—Phi-Silica。

微軟稱，這是一款專為Copilot+ PC設計的33億參數模型，每秒可處理650 token的，功率消耗約1.5瓦。

這意味著，Phi-Silica不會佔用大量算力，並且可以釋放PC的CPU和GPU來處理其他運算。

另外，它的token產生會重複使用NPU的KV緩存，並在CPU上運行，大約每秒可輸出27個token。

微軟表示，「Phi-Silica的不同之處在於，它是Windows首個本地部署的語言模型」。

它針對Copilot+PC NPU進行了最佳化，可在本地設備上實現超快的推理響應速度。

這是Windows將先進的AI技術直接帶給第三方開發者的里程碑時，為他們開發出色的Windows原生體驗和第三方體驗鋪平了道路。

Phi-3模型最新的應用，便是微軟也和可汗學院聯合打造教育模型。

在模型的幫助下，學生不僅得到了個人化的AI指導，老師們也感受到了自己的價值。

更重要的是，在Phi-3的加持下，能夠免費提供給教育工作者的Khanmigo，必將大幅改變美國的教育界。

Windows

Copilot+ PC將重新定義任何一個人在PC所做的一切。

Pavan Davuluri展示了Copilot加持下的玩家，不用Google搜索，詢問即可通過被卡住的關卡。

透過將Copilot整合到XBox中，可以大幅提升遊戲體驗。

此外，微軟也與Quest聯手，將Copilot帶進VR世界，並為Quest帶來可擴展到3D空間的Windows應用程式。

來源：新智元