最近，奧特曼的新煩惱又來了，這次的煩惱是OpenAI 員工們要「造反」了。 6月5日，一封由13位OpenAI和GoogleDeepMind前員工、現員工共同發布的公開信，引起全世界網友的廣泛關注。

這封信不僅揭發OpenAI的魯莽和保密文化，強調前沿AI技術的嚴峻風險，也表達了對AI公司在開發和推廣AI技術時利益優先、打壓異見者和規避監管等種種行徑的擔憂。

更猛的是，為這封信公開署名的竟有：被譽為「人工智慧教父」的傑弗裡·辛頓（Geoffrey Hinton）、因開創性AI研究獲得圖靈獎的約書亞·本吉奧（Yoshua Bengio）和AI安全領域的學者斯圖爾特·羅素（Stuart Russell）。

連這些骨灰級的大神們都親自下場掐架了，可見這封信的聲量和影響力，定然不同凡響。

01

這封公開信想表達什麼？

看完這封公開信後，我給大家歸納了幾個要點：（文末還有公開信的完整編譯）

第一，AI或許會加劇現有的不平等現象，操縱和傳播誤導訊息，以及可能無法控制自主人工智慧系統，最終可能威脅人類生存。

第二，AI 公司出於財務利益的考慮，往往避免接受有效監管，「我們認為特別設計的企業治理模式不足以改變這一現狀」。

第三，AI公司掌握著大量的內部訊息，目前與政府分享這些資訊的責任較為有限，而且沒有與民間社會分享的義務。在這些公司中，現任和前任員工是為數不多的能夠向公眾負責的人，但保密條款阻礙了這種憂慮的表達。

第四，希望領先的AI 企業承諾遵循一些原則，包括承諾不會簽訂或執行任何禁止對公司的風險相關擔憂進行負面評價或批評的協議，也不會因員工進行風險相關的批評而阻礙其既得經濟利益做出報復。

第五，希望建立一個可驗證的匿名機制，供現任和前任員工使用。

OpenAI 前員工 Daniel Kokotajlo（Daniel Kokotajlo）作為聯名信公開署名人員中的一位，曾在社交平台發文提到，「我們中一些最近從OpenAI 辭職的人聚集在一起，要求實驗室對透明度作出更廣泛的承諾。

據了解，今年4 月，丹尼爾剛從OpenAI 辭職，原因之一就是對OpenAI 在建立通用人工智慧方面未採取負責任的行為，失去了信心。

在丹尼爾看來，AI系統不是普通的軟體，它們是從大量資料中學習的人工神經網路。關於可解釋性、對齊和控制的科學文獻正在迅速增多，但這些領域仍處於起步階段。如果不小心，可能會在長期內造成災難性後果。

從OpenAI離開時，丹尼爾曾被要求籤署一份文件，其中包含一項不貶損條款，禁止他發表任何批評公司的話。他拒絕簽署，最終代價是失去了既得股權。

02

OpenAI造反的遠不止這些人

巧合的是，今年4月，從OpenAI離開的還有奧波德·阿申布倫納（Leopold Aschenbrenner）。

不同的是，他不是主動辭職，而是被OpenAI以洩漏公司機密為由開除的。

阿申布倫納是OpenAI前超級對齊部門成員，他可能曾與5月剛離職的跟OpenAI 聯合創始人、首席科學家Ilya Sutskever一起共事。

但他被開除的真實原因，其實是他給幾位董事會成員分享了一份OpenAI安全備忘錄，結果招致OpenAI高層的不滿。

據說，OpenAI當時很清楚地告訴他，開除他的主要原因就是這份備忘錄。

隨後，之後阿申布倫納上線了一個網站，用165頁PDF文件匯總了他在OpenAI工作期間所了解的信息，這份文件被看作是“矽谷最激進的AI研究人員提出的一份未來10年AI發展的綱領性文件」。

在他看來，深度學習沒有遇到瓶頸，人類在2027年，就能實現AGI。而在2030年左右，AGI很有可能會發展出全面超越人類的超級人工智慧，但人類似乎還沒做好準備。

他也預言，AI即將帶來的，絕不是多數專家認為的「另一場網路規模的技術變革」。

有趣的是，阿申布倫納最近成立了一家專注於AGI 的投資公司，主要投資人包括Patrick Collison（行動支付巨頭Stripe聯創兼CEO）、John Collison（同為Stripe聯創）、Nat Friedman（前Github的CEO） 和Daniel Gross（Y Combinator前AI主管）。

03

多名OpenAI骨幹加入「叛軍」陣營

5月15日，OpenAI 聯合創始人、首席科學家Ilya Sutskever ，突然宣布已離開OpenAI。

自去年11月OpenAI宮鬥事件中，由於對公司模式的安全性有所擔憂，Ilya曾聯合董事會成員發起反對Sam Altman的行動。事後，Ilya幾乎沒有出席任何學術演講或接受任何採訪，從此消失。

此後，業界一直很關心“Ilya看到了什麼？他去哪兒了，又在做什麼？”

Ilya 先前曾在一段影片中提到，在AGI 實現的那一天，AI 未必會仇恨人類，但他們對待人類的方式可能會像人類對待動物一樣。人可能無意傷害動物，但如果你想修一條城際高速，你不會徵詢動物的意見，而是直接去做。當面臨這種情況時，AI 可能也會自然而然地做出類似的選擇。

當時，很多人可能沒注意，與Ilya 同步宣布離開的，還有超級對齊團隊的共同領導者Jan Leike。

他是OpenAl安全主管，曾與Ilya Sutskever共同領導OpenAI的超級對齊團隊，該團隊負責防止超級智慧失控。

根據JanLeike透露，他與OpenAl高層在公司的核心優先事項上存在長期分歧，雙方的分歧嚴重到無法調和的地步。團隊在推動其研究項目和爭取計算資源時遇到了重大阻礙，缺乏資源嚴重影響研究的進度和品質。

無獨有偶，5月18日，OpenAl超級對齊團隊就地解散，剩餘成員併入核心研究團隊。現在看，這一步驟就像是提前排練好的。

5月29日，Jan Leike正式宣布加入OpenAl的競爭對手Anthropic。

他在X上寫道：「我很興奮能加入Anthropic團隊，繼續推進超級對齊任務！我的新團隊將致力於可擴展的監督機制、弱到強泛化以及自動化對齊研究。如果你也對加入我們有興趣，歡迎透過私訊聯繫我。

Anthropic是誰？據了解，Anthropic就是原OpenAI員工組建的公司，因為一些發展理念不合才直接“反叛”，並成為了OpenAI的最強勁敵。

Anthropic由前OpenAI員工Dario Amodei和Daniela Amodei兄妹於2021年創立，亞馬遜已對其投資40億美元，並持有少數股權，該公司一直試圖將自己定位為比競爭對手（OpenAl）更有安全意識的公司。

今年3月，Anthropic剛發表的Claude 3系列模型，已在多模態與語言能力指標上，已全面碾壓GPT-4。

關於Anthropic與OpenAl的對抗故事，似乎剛拉開序幕，後面我們或許還能見證更多他們之間愛恨情仇。

寫在最後

從去年11月OpenAI宮鬥事件開始，關於OpenAl大模型的安全性問題，其實一直都存在一些爭議。

也許就是從那時起，OpenAI 內部就分裂成了兩個陣營：

一個是以奧特曼為首的發展派；另一個則是以Ilya 為首的安全派。

但結局很明顯，以Ilya 為首的安全派喪失了話語權，整個超級對齊團隊被連根拔起，為繼續施行自己的發展理念和相關進程，奧特曼還在繼續清除異己。

AGI會全面超越人類的超級人工智慧嗎？到時候，我們能從容面對嗎？

這些問題的答案還重要嗎？你怎麼看？

附：以下是對此封公開信的完整編譯

《警告先進AI的權利》

我們是各大前沿AI公司的現任和前任員工，我們相信AI技術有潛力為人類帶來前所未有的好處。

我們也理解這些技術帶來的嚴重風險。這些風險包括加劇現有的不平等、操縱和誤導資訊、以及失控的自主AI系統可能導致人類滅絕。 AI公司本身已經承認了這些風險，政府和其他AI專家也有類似的看法。

我們希望這些風險能夠在科學界、政策制定者和公眾的充分指導下得到有效的緩解。然而，AI公司有強烈的財務動機來避免有效的監督，我們不相信公司為自己量身定制的治理結構能夠改變這一點。

AI公司擁有大量關於其係統能力和局限性的非公開信息，這些信息涉及系統的保護措施以及系統的各種風險水平。然而，他們目前只需要向政府分享部分訊息，並不背負著向政府報告的強烈義務，更沒有義務向社會大眾分享任何資訊。我們不認為他們可以完全自願地分享這些資訊。

只要這些公司沒有有效的政府監督，那麼現任和前任員工就是少數能讓公司負起責任的公眾人士之一。然而，廣泛的保密協議阻止了我們表達擔憂，除非是向那些可能未能解決這些問題的公司報告。普通的舉報者保護不足以應對此類問題，因為它們主要關注非法活動，而我們關心的許多風險尚未受到監管。考慮到業界歷史上一些案例中的各種報復行為，我們中的一些人合理地擔心會受到各種形式的報復。我們並不是第一個遇到或談論這些問題的人。

因此，我們呼籲先進的AI公司承諾以下原則：

本公司不會簽訂或執行任何禁止因風險相關問題而對公司進行詆毀或批評的協議，也不會透過阻礙任何既得經濟利益來報復與風險相關的批評；

公司將創建一個可驗證的匿名流程，使現任和前任員工能夠向公司的董事會、監管機構以及具有相關專業知識的適當獨立組織提出風險相關的擔憂；

公司將支持公開批評的文化，並允許現任和前任員工向公眾、公司的董事會、監管機構或具有相關專業知識的適當獨立組織提出他們對技術風險的相關擔憂，只要適當保護商業機密和其他智慧財產權利益即可；

公司不會報復那些在其他流程失敗後，公開分享風險相關機密資訊的現任和前任員工。我們知道，任何報告風險相關擔憂的努力都應避免不必要地洩露機密資訊。因此，一旦存在一個足夠安全的匿名提出擔憂的流程，現任和前任員工應先透過此類流程提出擔憂。然而，只要此類流程不存在，現任和前任員工應保留向公眾報告其擔憂的自由。