OpenAI 執行長 Sam Altman表示，OpenAI 正在與美國人工智慧安全研究所（US AI Safety Institute）合作，該研究所是一個聯邦政府機構，旨在評估和解決人工智慧平台的風險。

阿爾特曼是在周四晚間在X 上發布的一篇文章中宣布這一消息的，但具體細節並不多。但它–連同今年6 月與英國人工智慧安全機構達成的類似協議–似乎意在反駁OpenAI 為追求能力更強、功能更強大的生成式人工智慧技術而將人工智慧安全工作置於次要地位的說法。

今年5 月，OpenAI 有效地解散了一個研究開發控制措施以防止”超級智慧”人工智慧系統失控問題的小組。包括我們在內的一些報導認為，OpenAI將該團隊的安全研究丟在一邊，轉而推出新產品，最終導致該團隊的兩位共同負責人揚-萊克（Jan Leike，現為人工智慧新創公司Anthropic的安全研究負責人）和OpenAI聯合創始人伊利亞-蘇茨克沃（Ilya Sutskever，已創辦自己的安全人工智慧公司Safe Superintelligence Inc.）分道揚鑣。

為了回應越來越多的批評者，OpenAI 表示將取消暗中阻止舉報的限制性非貶損條款，成立安全委員會，並將20% 的計算量用於安全研究。 (已解散的安全團隊曾被承諾將OpenAI 20% 的計算量用於其工作，但從未實現）。阿爾特曼再次承諾將20% 的計算量用於安全研究，並重申OpenAI 已於今年5 月廢除了針對新員工和現有員工的非貶損條款。

然而，這些舉動並沒有安撫住一些觀察家–尤其是在OpenAI 為安全委員會配備了包括阿爾特曼在內的所有公司內部人員之後，最近又將一名高級人工智慧安全主管調到了另一個組織。

包括夏威夷民主黨人布萊恩-沙茨（Brian Schatz）在內的五位參議員在最近寫給阿爾特曼的信中對OpenAI 的政策提出了質疑。 OpenAI 首席策略官傑森-權（Jason Kwon）今天對這封信做出了回應，他寫道，OpenAI”致力於在流程的每個階段執行嚴格的安全協議」。

OpenAI與美國人工智慧安全研究所達成協議的時機似乎有點可疑，因為該公司本週稍早支持《未來創新法案》（Future of Innovation Act），該法案是參議院提出的一項法案，將授權安全研究所作為一個執行機構，負責制定人工智慧模型的標準和指導方針。這些舉動加在一起可能會被認為是一種監管俘獲的嘗試–或至少是OpenAI在聯邦層級對人工智慧政策制定施加影響。

阿爾特曼是美國國土安全部人工智慧安全委員會的成員之一，該委員會為美國關鍵基礎設施中”安全可靠地開發和部署人工智慧”提供建議。今年，OpenAI 在聯邦遊說的支出大幅增加，2024 年前六個月的支出為80 萬美元，而2023 年全年的支出為26 萬美元。

美國人工智慧安全研究所設在商務部的國家標準與技術研究所內，與包括Anthropic以及Google、微軟、Meta、蘋果、亞馬遜和NVIDIA等大型科技公司在內的公司聯盟進行諮詢。該行業組織的任務是根據喬-拜登總統10 月發布的人工智慧行政命令開展工作，包括制定人工智慧紅隊、能力評估、風險管理、安全保障和合成內容浮水印的指導方針。