美國人工智慧安全研究所與人工智慧新創公司OpenAI 和Anthropic 簽訂協議，協助測試和評估它們即將推出的安全技術。根據週四宣布的協議，美國人工智慧安全研究所將提前獲得這些公司提供的主要新人工智慧模型，以評估能力和風險，並合作制定減少潛在問題的方法。

人工智慧安全研究所隸屬於美國商務部的國家標準與技術研究院（NIST）。這些協議的簽署正值越來越多地推動透過監管來降低人工智慧潛在的災難性風險之際，例如最近在州議會獲得通過的有爭議的加州人工智慧安全法案SB 1047。

人工智慧安全研究所所長伊麗莎白-凱利（Elizabeth Kelly）在一份聲明中說：「安全對於推動突破性技術創新至關重要。這些協議只是一個開始，但它們是我們努力幫助負責任地管理人工智慧未來的一個重要里程碑。

該集團在聲明中表示，將與英國人工智慧安全研究所密切合作，就潛在的安全改進提供回饋。在此之前，Anthropic 與英國人工智慧安全研究所合作，在Sonnet 3.5 模型發布前對其進行了測試。美國和英國的組織先前曾表示，他們將合作實施標準化測試。

OpenAI 首席策略長Jason Kwon 在聲明中表示：「我們大力支持美國人工智慧安全研究所的使命，並期待著共同為人工智慧模型的安全最佳實踐和標準提供資訊。我們相信，該研究所在確定美國在負責任地發展人工智慧方面的領導地位方面發揮著至關重要的作用，並希望我們的合作能為世界其他國家提供一個可以藉鑑的框架。

Anthropic 也表示，建立有效測試人工智慧模型的能力非常重要，聯合創始人兼政策主管傑克克拉克（Jack Clark）說：「安全、可信的人工智慧對技術的積極影響至關重要。這加強了我們辨識並降低風險的能力，推動了負責任的人工智慧發展。

美國人工智慧安全研究所成立於2023年，是拜登-哈里斯政府人工智慧行政命令的一部分，其任務是為負責任的人工智慧創新制定測試、評估和指導方針。