OpenAI冷不丁又宣布了驚爆全球的消息：ChatGPT可以集成第三方插件了！唯一的封印解除後，ChatGPT儼然已經迎來了屬於自己的“全知全能”宇宙。網友直呼：AI的APP Store時刻已來！今早醒來，全網都炸鍋了。

之前，大家都公認ChatGPT幾乎能上天入地，無所不能，唯一的缺點就是——不能聯網。因為它的訓練數據集截止到21年9月，所以它對於這以後世界的了解，還是一片空白。

如今，這唯一的封印，也被OpenAI解除了。

今日凌晨，外網傳來地震級消息：OpenAI已經為ChatGPT添加了插件，現在，ChatGPT能聯網了！

OpenAI表示，添加插件後，ChatGPT不僅會自己看網頁，還能和網站互動。用OpenAI的話說，現在，其他服務都成了ChatGPT的“眼睛和耳朵”。

所以，人類要迎來史上首個真·全知全能AI了？

全知全能，ChatGPT全宇宙來了！

可以想像，現在的ChatGPT，已經變成了一個無所不包的生態系統。雖然很多應用尚在早期，還待探索，但ChatGPT能拓展的疆域，可以說是無限的。

李飛飛高徒、英偉達AI科學家Jim Fan激動地說，如果說曾經ChatGPT的橫空出世可以看作“ iPhone的出現”，今天第三方插件的集成，就是“iOS App Store”級別的事件。

咱們來看看，ChatGPT現在的能力有多驚人。

首先我們需要安裝一波插件。

緊接著，就可以提問了。

比如，“我正在舊金山，這個週末想吃素食，能不能建議下，我周六去哪家參觀，週日按什麼食譜做菜？請用WolframAlpha計算出食譜的熱量，最後在Instacart上訂購食材。”

所有你需要的信息，立馬完美呈現。

食譜出來後，它立馬貼心地幫你在購物網站Instacart上下單，需要什麼食材，ChatGPT已經幫你選好了。你需要做的，就是付個賬。

能上網、會代碼、擅分析，OpenAI誠意滿滿

ChatGPT官方提供的插件，可以分為三大類：

Web瀏覽器：在循環中添加必應搜索

代碼解釋器：在一個沙盒和防火牆的執行環境中添加一個實時的Python解釋器

檢索：對個人和組織文件進行語義搜索

Web瀏覽器

OpenAI做的第一款插件Web瀏覽器，可謂是誠意滿滿。

這一插件會利用新必應的API，在互聯網上搜索問題的相關信息，然後給出具體答案。

比如你可以問ChatGPT：“今年奧斯卡獲獎電影的票房和最近上映的電影相比，誰高誰低？”

它就會立刻上網進行搜索，然後給出答案。顯然，這是它以前無法做到的事。

此外，ChatGPT還會根據查詢的內容，判斷是否需要給出必應的接口。

然後，我們就可以通過答案中的索引，跳轉到具體的鏈接了。

雖然這個功能必應也能做到，但ChatGPT的插件不止能檢索實時信息，還能綁定API，直接執行操作。

打個比方，必應可以告訴你航班和酒店，但ChatGPT能直接幫你訂航班和酒店了！

這個瀏覽功能，使用的是必應的搜索API，微軟在兩方面下了大功夫：

（1）保證信息來源的可靠性和真實性； （2）開啟“安全模式”，防止檢索不適當的內容。插件在一個孤立的服務中運行，因此ChatGPT的瀏覽活動與其他部分是分開的。

所以，有了這一插件，你還會用必應嗎？

目前，OpenAI從安全角度考慮，允許這個插件只支持GET請求，不支持POST。這意味著，它只能獲取數據，卻不能發送。

此外，OpenAI還做了一些爬蟲限制，配置為robots.txt文件，以避開禁止抓取的內容。

如果在使用過程中出現“點擊失敗”，是正常的。

代碼解釋器

昨天，GitHub發布了一個基於GPT-4的代碼生成工具GitHub X，已經讓許多碼農遭到降維打擊。

而這次，OpenAI推出的“代碼解釋器”編程插件，動嘴編程序更強了。

目前，這一插件用的是處於實驗階段的ChatGPT模型。

該模型被放置在了一個受防火牆保護的沙盒中，並會分配一些少量的臨時磁盤空間。

另外，在用戶進行交流對話時，代碼會被保存在會話中，可以隨時調用。

這款解釋器有幾個特別的用例：

1. 解決定量和定性的數學問題；

2. 進行數據分析和可視化；

3 .快速轉換文件格式。

隨著這款插件的使用人群增加，OpenAI鼓勵用戶多進行嘗試，挖掘出代碼解釋器更多的功能。

借助這個代碼解釋器，我們就能ChatGPT實現各種無敵的功能了！

比如，讓ChatGPT編輯視頻——只要給出一個指令，ChatGPT就會對上傳視頻文件進行處理，稍等片刻之後，就可以直接下載了。

沒錯，就是這麼炸裂。

檢索

此外，OpenAI開源了知識庫檢索插件的代碼，允許用戶託管他們自己的數據，並使其在ChatGPT內部可訪問。

檢索插件庫的地址：https://github.com/openai/chatgpt-retrieval-plugin

這一插件可以從數據中獲取最相關的文件片段，如文件、筆記、電子郵件或公共文檔。

在此，開發者可以部署自己的插件版本，並在ChatGPT註冊。通過嵌入OpenAI，允許開發者選擇一個矢量數據庫（Milvus、Pinecone、Qdrant、Redis、Weaviate或Zilliz）對文檔進行索引和搜索。

與此同時，這些信息源可以使用webhooks與數據庫同步。

“Chat Store”來了

除了自家的插件外，OpenAI這次還發布了11款第三方插件：

其中，第一批插件由Expedia、FiscalNote、Instacart、KAYAK、Klarna、Milo、OpenTable、Shopify、Slack、Speak、Wolfram和Zapier創建。

這些插件涵蓋了實時信息檢索、訂機票、在線點餐、交通導航、企業辦公、流程優化等功能。

沒錯，ChatGPT全宇宙裡，一家子就是要整整齊齊。

此外，OpenAI還鼓勵開發者一起做插件。然而，這個權限不是人人都有的，需要一個“入場劵”。

你首先需要先加入waitlist申請，申請時最好填上個人GitHub地址。這也是OpenAI用來判斷開發能力的標準之一。

創建一個插件需要三個步驟:

– 構建API

– 使用OpenAPI yaml或JSON格式記錄API文檔

– 創建一個JSON清單文件，定義插件的相關元數據

理工科神器Wolfram|Alpha

而且，Wolfram|Alpha插件的注入，讓“數學菜雞”ChatGPT也有翻身的機會了。

此前，人們就發現ChatGPT做“雞兔同籠”的題總是出錯。這引起了Wolfram語言之父Stephen Wolfram的注意。

當時，Wolfram就曾提出要解決ChatGPT的數學短板，方法便是結合進自己的Wolfram|Alpha知識引擎。

作為一個在線自動問答系統，Wolfram|Alpha不僅具備強大的結構化計算能力，而且也能理解自然語言。

這不，歷經2個半月，ChatGPT已經獲得了“Wolfram的超能力”。

讓我們看一看ChatGPT的計算超能力。

1月份，Wolfram曾用ChatGPT演示的簡單例子“從芝加哥到東京有多遠”生成結果不是正確的。

加入插件後，ChatGPT的能力立刻增強了，不僅生成了正確的結果，而且給出了可視化的圖片。

這是如何實現的？ChatGPT為W|A構建一個查詢系統，然後將其發送到Wolfram|Alpha 進行計算，然後根據讀取到的結果“決定要說什麼”。

你可以通過點擊“使用Wolfram”框來查看這個前後過程(通過查看這些信息，你可以確認ChatGPT沒有“編造任何東西”) 。

同樣的，此前Wolfram就注意到，ChatGPT只是“捏造”了看似合理，但卻是錯誤的數據。

輸入的prompt如下，在調用了Wolfram插件後，ChatGPT輸出了一個正確且權威的答案。

我們甚至還能用ChatGPT做出圖表。

Wolfram還給了一個全景圖，你能用ChatGPT+Wolfram|Alpha能做的事情，可太多了。

大佬們都炸了！直呼ChatGPT是宇宙中心

幾個小時前，ChatGPT之父直接翻出2022年4月曾說的話：“我們需要為這種新的計算機界面命名，用自然語言告訴計算機你想要什麼，然後直接讓它們執行操作。大家有想法嗎？”

或許在那時，ChatGPT Plugins的想法就已經在他的腦海中醞釀了。

OpenAI的首席科學家Andrej Karpathy表示：

GPT類模型是一種運行在文本上的新型計算機架構，它不僅可以與我們人類交談，也可以與現有的軟件基礎設施“交談”，API是第一步，插件是第二步。

我們所處的時代也太炸裂了……

“如果把OpenAI比作蘋果，那GPT-4就是iPhone，ChatGPT則是iOS，而這次發布的Plugins就是App Store了。”

而國內網友立馬就設想出了一系列應用場景——現在可以用ChatGPT預定酒店航班、點外賣、網購了，而這些插件最擅長的就是Marketplace，現在，ChatGPT是真成宇宙中心了吧……

來源：成為馬斯克

有網友稱，這是“ChatGPT宇宙”的開端。

來源：倪爽

而微博大V“木遙”驚呼：用自然語言生成插件，是我這輩子見過最瘋狂的系統。

最後他發出預言：Python已死。

最近，微軟副總裁Yusuf Mehdi發出了這樣的感慨。

的確，我們誰都不曾想到，這個三月會如此瘋狂。