美國商務部負責為美國政府、公司和廣大公眾開發和測試技術的機構–國家標準與技術研究院（NIST）週一宣布啟動NIST GenAI，這是一個由NIST 牽頭的新項目，旨在評估生成式人工智慧技術，包括文字和圖像生成人工智慧。

NIST 在新推出的NIST GenAI網站和一份新聞稿中解釋說，NIST GenAI將發布基準，幫助創建”內容真實性”檢測（即深度驗假）系統，並鼓勵開發軟體來識別人工智慧生成的虛假或誤導性資訊的來源。 “NIST GenAI 計畫將發布一系列挑戰問題，[旨在]評估和衡量生成式人工智慧技術的能力和局限性。這些評估將用於確定促進資訊完整性的策略，並指導安全、負責任地使用數位內容”。

NIST GenAI 的第一個計畫是一項試點研究，目的是建立一個能夠可靠區分人類創建的媒體和人工智慧生成的媒體的系統，首先從文字開始。 (雖然許多服務都聲稱可以檢測深度偽造，但研究和測試表明，它們充其量只能說是不可靠的，尤其是在文本方面）。 NIST GenAI 邀請學術界、工業界和研究實驗室的團隊提交”生成器”（生成內容的人工智慧系統）或”鑑別器”（旨在識別人工智慧生成內容的系統）。

研究中的生成器必須產生250 字或更少的摘要，提供一個主題和一組文檔，而判別器必須檢測給定摘要是否可能是人工智慧編寫的。為確保公平，NIST GenAI 將提供測試生成器所需的數據。 NIST 表示：”以公開資料訓練的系統如果不”遵守適用的法律法規”，將不被接受。

試辦登記將於5 月1 日開始，第一輪兩家計畫於8 月2 日結束。預計研究的最終結果將於2025 年2 月公佈。

在人工智慧產生的錯誤訊息和虛假資訊呈指數級增長之際，NIST GenAI 啟動了以深度偽造為重點的研究。

根據深度假貨檢測公司Clarity 的數據，與去年同期相比，今年製作和發布的深度假貨數量增加了900%。這引起了人們的恐慌，這是可以理解的。 YouGov 最近的一項民意調查發現，85% 的美國人擔心誤導性的深度假新聞會在網路上傳播。

NIST GenAI 的啟動是NIST 響應喬-拜登總統關於人工智慧的行政命令的一部分，拜登總統的行政命令規定，要求人工智慧公司在其模型如何工作方面提高透明度，並製定了一系列新標準，包括對人工智慧生成的內容進行標註。

這也是NIST 在任命前OpenAI 研究員保羅-克里斯蒂亞諾（Paul Christiano）為該機構的人工智慧安全研究所成員後，首次發布與人工智慧相關的消息。

克里斯蒂亞諾因其”現實主義”觀點而備受爭議；他曾預言，”人工智能的發展有50%的可能以[人類毀滅]而告終”。根據報導，包括美國國家標準與技術研究院（NIST）科學家在內的批評人士擔心，克里斯蒂亞諾可能會鼓勵人工智慧安全研究所關注”幻想的場景”，而不是現實的、更直接的人工智慧風險。

NIST 表示，NIST GenAI 將為人工智慧安全研究所的工作提供參考。