OpenAI 今天宣布成立一個新團隊，負責評估、評估和探測人工智慧模型，以防範其所描述的”災難性風險”。該團隊名為”預先準備”（Preparedness），將由麻省理工學院可部署機器學習中心主任亞歷山大-馬德里（Aleksander Madry）領導。(據LinkedIn 報道，馬德里於今年5 月加入OpenAI，擔任”準備工作負責人”）。

Preparedness 的主要職責是追蹤、預測和防範未來人工智慧系統的危險，包括其說服和愚弄人類的能力（如網路釣魚攻擊）以及惡意程式碼產生能力。

Preparedness 負責研究的一些風險類別似乎比其他類別更……牽強。例如，在一篇部落格文章中，OpenAI 將”化學、生物、輻射和核子”威脅列為人工智慧模型的首要關注領域。OpenAI 執行長 Sam Altman）是一位著名的人工智慧末日論者，他經常擔心人工智慧”可能會導致人類滅絕”–無論是出於視覺效果還是個人信念。但坦白說，OpenAI 可能真的會投入資源來研究科幻烏托邦小說中的場景，這比本文作者的預期還更進了一步。該公司表示，它也願意研究”不那麼明顯”、更接地氣的人工智慧風險領域。為了配合”準備”團隊的啟動，OpenAI 正在向社區徵集風險研究的想法，前十名的提交者將獲得2.5 萬美元的獎金和一份”Preparedness”的工作。「想像一下，我們讓你不受限制地訪問OpenAI 的Whisper（轉錄）、Voice（文本到語音）、GPT-4V 和DALLE-3 模型，而你是一個惡意行為者，」作品徵集中的一個問題寫道。”考慮最獨特的、同時仍有可能發生的、潛在災難性的模型濫用。”OpenAI 表示，準備團隊還將負責制定一項”風險知情開發政策”，該政策將詳細說明OpenAI 構建人工智能模型評估和監控工具的方法、公司的風險緩解行動以及監督整個模型開發流程的治理結構。該公司表示，這是為了補充OpenAI 在人工智慧安全領域的其他工作，重點是模型部署前和部署後階段。「我們相信……人工智慧模型將超越目前最先進的現有模型的能力，有可能造福全人類，」OpenAI 在上述部落格文章中寫道。”但它們也帶來了越來越嚴重的風險……我們需要確保我們對高能力人工智慧系統安全所需的理解和基礎設施。”在OpenAI 宣布將組建一個團隊來研究、引導和控制新出現的”超級智能”人工智能形式之後，OpenAI 在英國政府舉行的一次關於人工智能安全的重要峰會上發布了”預先準備”計劃（Preparedness） 。執行長Altman 和OpenAI 的首席科學家兼聯合創始人Ilya Sutskever 都認為，擁有超越人類智慧的人工智慧可能會在十年內出現，而這種人工智慧並不一定是善意的，因此有必要研究限制和約束它的方法。