OpenAI 創始人Sam Altman 的環球之旅已經進行到第四周，在此期間，他已經去到五個大洲的近20 個國家，與學生、開發人員和國家元首會面。今天，北京時間上午9 點20 分，Sam 以視頻連線的方式現身於中國北京舉辦的2023 智源人工智能大會，發布了演講，並接受了院士張宏江的訪談對話。

演講依然圍繞近期他所呼籲的AI 安全問題的關注。Sam 指出，當下，AI 正以極快的速度發展並擴展人類想像的畫布。在此過程中，潛在紅利與危機是並存的。隨著日益強大的AI 系統的出現，全球合作的賭注從未如此之大。考慮到AI 未來所帶來的問題（如醫療、農業領域的應用）之嚴峻性，從當下開始重視、推進AI 安全是刻不容緩的。

Sam 特別提到，大國之間分歧常有，但在重要的大事上，還是需要協調與合作，尋找共同利益點。他特別引用了老子《道德經》中的話：千里之行，始於足下。他認為，當下可以邁出的最有建設性的一步，是國際科技界間的通力合作，特別是推動建立提高AI安全技術進步方面的透明度和知識共享的機制。

值得注意的是，此前在周遊列國時，在AI 安全和治理方面，Sam 的主要觀點是：目前AI 系統還沒有強大到威脅社會安全的地步，因此不必對正在研究的AI 系統進行嚴格監管，這無疑在減緩創新。此次在中國的演講，Sam 的演講未曾涉及監管的討論。但他提出，人們的確需要為迎接超出想像強大的AI 系統進行監管和安全上的討論。

極客公園全程觀看了這場演講，以下內容經整理編輯後發布。

精彩摘要：

當下人工智能革命影響如此之大的原因，不僅在於其影響的規模，也是其進展的速度。這同時帶來紅利和風險。

AI 帶來的潛在紅利是巨大的。但我們必須共同管理風險，才能達到用其提升生產力和生活水平的目的。

隨著日益強大的AI 系統的出現，全球合作的賭注從未如此之大。大國意見分歧在歷史上常有，但在一些重要的大事上，必須進行合作和協調。推進AGI 安全是我們需要找到共同利益點的最重要的領域之一。

對齊仍然是一個未解決的問題。想像一下，未來的AGI 系統或許具有10 萬行二進制代碼，人類監管人員不太可能發現這樣的模型是否在做一些邪惡的事情。

GPT-4 花了八個月的時間完成對齊方面的工作。但相關的研究還在升級，主要分為擴展性和可解釋性兩方面。

演講全文：

每次我訪問中國，我遇到的技術人才都能使我驚奇和振奮。正如你前面提到的，我現在正處於環世界之旅的第四個星期。我已經去了在五個大洲的近20 個國家，與學生、開發人員和國家元首會面。這次旅行對我是一種激勵。我們看到了世界各地的人們都已經在使用AI 技術，以令人難以置信的方式改變生活。我們也收到了來自用戶的寶貴反饋，告訴我們如何能使這些工具變得更好。

我們還有機會與外國領導人進行有意義的對話，討論需要建立的監管安全措施，以確保安全和可靠地部署日益強大的人工智能係統。

整個世界現在都在集中註意力，想要解決當今的人工智能問題，這也是非常正確的、值得我們努力解決的重要議題。我們還有很多工作要做，但鑑於我們已經取得的進展，我相信我們一定會達到目標。

今天，我想談一談未來。具體來說，我想談談我們看到的AI 能力的增長速度，以及我們現在需要做什麼，才能為將它們部署到世界做負責任的準備。

科學史告訴我們，技術進步遵循的是一條指數型曲線。我們在幾千年來的農業革命、工業革命和計算革命中都看到了這一點。

但是，我們現在正在見證的人工智能革命影響如此之大的原因，不僅在於其影響的規模，也是其進展的速度。它正在擴展人類想像力的畫布，並以極快的速度這樣做。

想像一下未來十年的世界，通用人工智能係統，通常稱為AGI，在幾乎每個領域專業技能都超過了人類。這些系統產生的生產力最終可以超過我們最大公司所能產出的集體生產力。

潛在的紅利是巨大的。人工智能革命可以創造我們共享的財富，而且可能大幅提高每個人的生活水平。但我們必須共同管理風險，才能達到這個目的。

我非常了解，大國之間有時可能會有它們的分歧。從古至今都是如此。但即使在最困難的時期，大國們也找到了在最重要的事情上進行合作的方法。大國之間的合作促進了關鍵的醫療和科學進步，如根除脊髓灰質炎和天花等疾病，全球也共同努力減弱了氣候變化風險。

隨著日益強大的AI 系統的出現，全球合作的賭注從未如此之大。如果我們不小心行事、建立一個瞄向改善公共衛生成果的AI 系統的宗旨，可能因為對齊出現問題，向人們提供沒有根據的醫療建議，反而破壞了整個醫療體系。同樣，一個旨在優化農業實踐的AI 系統可能會由於缺乏對影響糧食生產和環境平衡的長期可持續性的考慮，而無意中耗儘自然資源或破壞生態系統。我真心希望我們都能同意，推進AGI 安全是我們需要找到共同利益點的最重要的領域之一。

我想在接下來的發言中重點談談我認為我們可以從哪裡開始。

第一個領域是AGI 治理。AGI 是一種從根本上改變我們文明的強大力量，這意味著有意義的國際合作和協調是極其必要的。如果國際間能夠合作治理，那麼我們每一個人都能受益。

如果我們安全和負責任地對其進行治理，AGI 系統可以為全球經濟創造無與倫比的經濟財富，能夠解決像氣候變化、健康、安全這樣的共同挑戰，並以無數其他方式改善社會。我非常相信這樣的未來將會到來。而我們所有居住在這個星球的人，需要共同投資於AGI 的安全措施，才能到達、享受這樣的未來。要做到這一點，需要大家認真合作。AGI 是一個全球性的科技，也有著全球範圍內的影響力。出現事故或者不負責任地發展，其代價會影響我們所有人。

國際合作中，我認為有兩個關鍵領域是最重要的。

首先我們需要建立國際規範和標準，並註意過程中註重包容性。在任何國家使用AGI 系統，都應平等而一致地遵循這樣的國際標準和規範。在這些安全護欄內，我們相信人們有足夠的機會做出自己的選擇。

第二，我們需要國際合作，以可核查的方式建立對安全開發日益強大的AI 系統的國際間信任。我並不妄想這是一件容易的事，需要投入大量和持續的關注。

道教之書教育我們，千里之行，始於足下。我們認為，我們可以邁出的最有建設性的一步是與國際科技界合作，特別是推動建立提高AGI 安全技術進步方面的透明度和知識共享的機制。當研究人員發現新出現的安全問題時，他們應為了人類更大的利益分享他們的發現。我們需要認真思考如何在尊重和保護知識產權的同時，鼓勵這樣的規範。這可以為我們深化合作打開新的大門。

更廣泛地說，我們應該在促進和引導AI 對齊和安全研究方向進行投資。在OpenAI，在如何讓人工智能係統成為一個更安全有用的系統的技術問題上，我們進行AI 對齊研究。這可能指向，我們該如何訓練ChatGPT，使其不進行暴力威脅或協助用戶進行有害的活動。

但隨著我們日益接近AGI 的時代，沒有對齊的AI 系統的潛在影響力和影響規模將成倍增長。現在積極主動地解決這些挑戰，能將未來出現災難性結果的風險降到最低。

對於目前的系統，我們主要利用人類反饋進行強化學習來訓練我們的模型，使其成為一個有幫助的安全助手。這只是各種訓練後調整技術中的一個例子。而且我們也在努力研究新的技術，其中需要很多艱苦的工程工作。

從GPT4 完成預培訓到我們部署它，我們專門花了8 個月的時間來進行對齊方面的工作。總的來說，我們認為我們在這方面做得很好。GPT4 比我們以前的任何模型都更加與人類對齊。

然而，對於更先進的系統，對齊仍然是一個未解決的問題，我們認為這需要新的技術方法，同時增強治理和監督。

我們想像一下，未來的AGI 系統或許具有10 萬行二進制代碼，人類監管人員不太可能發現這樣的模型是否在做一些邪惡的事情。因此，我們正在致力於研究一些新的和互補的研究方向，希望能實現突破。

其中一個是可擴展監督。我們可以嘗試使用AI 系統來協助人類監督其他AI 系統。例如，我們可以訓練一個模型來幫助人類監督發現其他模型的輸出中的缺陷。

第二個是可解釋性。我們想嘗試更好地了解這些模型內部發生了什麼。我們最近發表了一篇論文，使用GPT-4 來解釋GPT-2 中的神經元。在另一篇論文中，我們使用Model Internals 來檢測一個模型何時在說謊。我們還有很長的路要走。我們相信，先進的機器學習技術可以進一步提高我們解釋的能力。

最終，我們的目標是訓練AI 系統來幫助進行對齊研究。這種方法的好處在於，它可以隨著AI 的發展速度而擴展。

獲得AGI 帶來的非凡好處，同時降低風險，是我們這個時代的開創性挑戰之一。我們看到中美兩國和世界各地的研究人員有很大的潛力共同實現共同的目標，並致力於努力解決AGI 對齊帶來的突出技術挑戰。

如果我們這樣做，我相信我們將能夠利用AGI 來解決世界上最重要的問題，並極大地改善人類的生活質量。非常感謝。