根據最新的報導，澳大利亞正在引入一項新的法規，要求科技巨頭如Google、Microsoft的Bing和DuckDuckGo等搜索引擎公司採取措施，清除搜索結果中的虐待兒童材料，並防止生成深度偽造圖像。這一法規旨在應對人工智能工具可能生成虐待兒童圖像和恐怖主義宣傳的問題。

澳大利亞電子安全專員Julie Inman Grant表示，科技公司需要在減少其產品可能帶來的危害方面發揮主導作用。她指出，目前已經出現了合成虐待兒童材料，並稱恐怖組織正在使用生成式人工智能來製作宣傳材料，這已經成為現實，不再是幻想。因此，有必要採取行動。

圖源備註：圖片由AI生成，圖片授權服務商Midjourney

根據新的法規，搜索引擎公司將被要求定期審查和改進其人工智能工具，以確保不返回“1A類”材料，包括兒童性虐待、恐怖主義和極端暴力材料。此外，這些公司還必須研究技術，幫助用戶檢測和識別可從其服務訪問的深度偽造圖像。這一法規被認為是世界上第一批類似框架之一。

Julie Inman Grant形容人工智能的迅猛發展為一場“軍備競賽”，並表示這一技術的演變“讓大多數政策制定者、監管機構和國家措手不及”。她認為，對於生成式人工智能，監管工具的使用需要有不同的思考方式，並強調監管審查必須從設計和部署階段開始，而不是問題出現後才採取應對措施。

在這一背景下，新法規要求科技公司從一開始就將進一步監管這些工具的規定納入其中，而不是在問題出現後進行應對，這種情況類似於汽車製造商被要求安裝安全帶。Julie Inman Grant表示，這種做法對科技行業是有商業意義的，現在科技行業需要類似於“安全帶時刻”的規定。

電子安全專員還表示，監管機構已經意識到一些不良分子正在利用新的人工智能工具進行非法活動，包括生成虐待兒童材料。新規則將迫使科技公司不僅要減少其平台上的危害，還要致力於構建工具，促進更高的在線安全，例如檢測深度偽造圖像。

澳大利亞總檢察長Mark Dreyfus在議會上宣布，澳大利亞聯邦警察正在使用人工智能來檢測虐待兒童材料，而不再依賴手動審查照片。這一倡議的新工具呼籲成年人提交自己兒童時期的照片，以幫助訓練人工智能模型，從而更好地應對虐待兒童材料問題。