最近在AI領域發生了一件重磅事件，引發廣泛關注。北京時間6月20日，OpenAI聯合創辦人、前首席科學家伊利亞（Ilya Sutskever）在社群平台上發文宣布，將創辦一家「安全超級智慧公司」（Safe Superintelligence Inc．，簡稱SSI）。

「SSI是我們的使命、我們的名字、我們的整個產品路線圖，因為它是我們唯一的焦點。我們的團隊、投資者和商業模式都是以實現SSI為目標。」伊利亞、科技企業家和投資者Daniel Gross、OpenAI前科學家Daniel Levy在該公司官網發表的聯合署名文章中稱，「構建安全的超級智能，是我們這個時代最重要的技術問題。我們計劃盡快提升能力，同時確保我們的安全始終處於領先地位。

伊利亞透露，該公司已經啟動了世界上第一個直接的安全的超級智慧實驗室，只有一個目標和一個產品：一個安全的超級智慧。但目前，SSI並未公佈公司的股東、科學研究團隊及獲利模式。

實際上，伊利亞離開OpenAI，很大程度上就是因為與OpenAI CEO奧爾特曼（Sam Altman）為核心的管理層存在分歧，尤其是在如何駕馭超級AI、AGI（通用人工智慧）安全發展等問題上有相反的觀點。

其中，奧爾特曼和OpenAI總裁Greg Brockman傾向於加速商業化，以獲得更多資金來支持AI模型的算力需求，力求快速增強AI的力量；而伊利亞等人則希望AI更安全。

去年11月，雙方矛盾激化，OpenAI上演「宮鬥」大戲，結果奧爾特曼和Greg Brockman在短暫離職後重歸OpenAI，原董事會中的多位董事離開，伊利亞則在今年5月宣布離任。

對此，國內AI安全公司瑞萊智慧（RealAI）CEO田天對鈦媒體AGI等表示，奧爾特曼和伊利亞之間的分歧在於對AI安全的“路線之爭”，伊利亞的新公司就是為了AI 安全目標而設立的。

田天指出，包括伊利亞、圖靈獎得主Geoffrey Hinton等人認為，AI安全問題現在已經到了「非常迫切」去解決的程度。如果現在不去做，很有可能就會錯過這個機會，未來再想亡羊補牢是「沒有可能性」的。

「大模型領域也是一樣。雖然我們對於大模型預期非常高，認為它在很多領域都能去應用，但其實現在，真正在嚴肅場景下的大模型應用典型案例還是非常少的，主要問題在於AI安全上。應用。

早在聊天機器人ChatGPT發布之前，伊利亞就提到AGI對人類社會可能的威脅。他把AGI與人類的關係，類比人類與動物的關係，稱「人類喜歡許多動物，但當人類要造一條高速公路時，是不會向動物徵求意見的，因為高速路對人類很重要。人類和通用人工智慧的關係也將會這樣，通用人工智慧完全按照自己的意願行事。

AGI，即人工智慧已具備和人類同等甚至超越人類的智能，簡單而言就是能說會寫，具備計算、推理、分析、預測、完成任務等各類人類行為。這樣的AI曾經遙遠，但在OpenAI推出第四代模型GPT-4且正訓練第五代模型GPT-5時，AGI看似近在咫尺。

今年以來，AI 安全問題持續引發關注。

今年1月，美國一位流行歌手被人用AI惡意生成虛假照片，在社群媒體迅速傳播，給歌手本人造成困擾；2月，香港一家公司遭遇「AI變臉」詐騙，損失高達2億元港幣，據悉，這家公司一名員工在視訊會議中被財務長要求轉帳。然而，會議中的這位「領導」和其他員工，實際上都是深度偽造的AI影像。詐騙者透過公開管道取得的資料，合成了財務長的形象和聲音，並製作出許多人參與視訊會議的虛假場景。

整體來看，為了實現AGI目標，目前，AI系統在設計上主要面臨五個安全挑戰：

1. 軟體硬體的安全性：在軟體及硬體層面，包括應用、模型、平台和晶片，編碼都可能存在漏洞或後門；攻擊者能夠利用這些漏洞或後門實施高階攻擊。在AI模型層面上，攻擊者同樣可能在模型中植入後門並實施高階攻擊；由於AI模型的不可解釋性，在模型中植入的惡意後門難以被偵測。
2. 資料完整性：在資料層面，攻擊者能夠在訓練階段摻入惡意數據，影響AI模型推理能力；攻擊者同樣可以在判斷階段對要判斷的樣本加入少量噪音，刻意改變判斷結果。
3. 模型保密：在模型參數層面，服務提供者往往只希望提供模型查詢服務，而不希望暴露自己訓練的模型；但透過多次查詢，攻擊者能夠建立一個相似的模型，進而獲得模型的相關資訊.
4. 模型穩健性：訓練模型時的樣本往往覆蓋性不足，使得模型穩健性不強；模型面對惡意樣本時，無法給出正確的判斷結果。
5. 資料隱私：在使用者提供訓練資料的場景下，攻擊者能夠透過重複查詢訓練好的模型來獲得使用者的隱私資訊。

北京智源人工智慧研究院學術顧問委員會主任張宏江在2024北京智源大會上表示，過去一年大模型發展速度之快，業界紛紛探討通用人工智慧的實現路徑與曙光，但AI安全問題的嚴重性與緊迫性不容忽視。

「當我們從不同層面AI 能安全問題進行審視，除了對社會偏見，錯誤訊息，潛在的工作替代或大模型、自主機器人帶來的大規模自動化而導致的工作流失，以及潛在的加速財富集中或財富兩極化等問題有所了解，更應該關注AI 可能帶來新的經濟體系和包括潛在的災難性風險或誤用事故，甚至可能導致延伸性的人類風險。但更重要的是明確目標、投入資源、採取行動、共同應對風險。

北京智源人工智慧研究院理事長黃鐵軍表示，水深流急，AI安全已進入風險突出的階段。應對AI安全風險，需要對AGI等級和能力進行分五級，而且，人類應該致力於解決AI 安全問題，加強與國際社會在AI安全領域的合作，確保AI技術可控，迎接安全AGI的到來。

AGI水平和能力的五個級別

生成式AI技術是一把雙面刃，如何把生成式AI的強大能力用於建立資訊安全規範，將限制產業發展的「絆腳石」變為「壓艙石」？業界一直在探索「用科技治理技術」的方案。

就在6月21日，瑞萊智慧推出全球首個可即時檢測AI合成內容產品RealBelieve，中文名為「尊嘟假嘟」。

據悉，與先前國內外AIGC檢測產品被動上傳檢測不同，RealBelieve主要面向終端用戶，能夠提供主動即時檢測防護，可接入視訊串流鑑別人臉真偽，也可在用戶瀏覽網頁內容時提供AIGC合成可能性提示。不僅可以提供終端使用者文字、圖片、影片和音訊多種模態的檔案上傳偵測服務，還可以透過瀏覽器外掛程式的形式即時提示使用者所瀏覽網頁的疑似AI合成內容，變得被動為主動。目前，尊嘟假嘟RealBelieve已開啟內測招募。

田天表示，作為國內少數專攻AI 安全領域的公司，瑞萊智慧已服務百餘家事、金融等領域客戶。隨著AI技術的發展，安全在整個AI發展的優先順序一直在往前走。未來AI 技術要往超級智慧方向發展的話，必須建立整個安全體系，從而確保形成安全的超級智慧技術。

「如果現在不去做好AI 安全的話，可能後面我們就沒有機會了。」田天稱。