史丹佛大學網路觀察站（Stanford Internet Observatory）的一份新報告發現，一個用於建立流行人工智慧影像產生器的大規模公共資料集至少包含1008 例兒童性虐待材料。

報導稱，LAION-5B 包含來自網路的50 多億張圖片和相關說明，其中可能還包括數千份疑似兒童性虐待資料或CSAM。報告警告說，將CSAM 納入資料集可能會使建立在這些資料基礎上的人工智慧產品–包括像Stable Diffusion 這樣的圖像生成工具–能夠創建新的、可能逼真的虐待兒童內容。

功能日益強大的人工智慧工具的興起引起了人們的警惕，部分原因是這些服務是利用大量線上資料（包括LAION-5B 等公共資料集）構建的，而這些資料集可能包含受版權保護或有害的內容。人工智慧圖片產生器尤其依賴包含成對圖片和文字描述的資料集來確定各種概念，並根據使用者的提示創建圖片。

該數據集背後的德國非營利組織LAION 的發言人在一份聲明中說，該組織對非法內容採取”零容忍政策”，並暫時從互聯網上刪除LAION 數據集，”以確保在重新發布這些數據集之前它們是安全的”。發言人說，在發布資料集之前，LAION 創建並發布了過濾器，用於發現並刪除其中的非法內容。LAION 的創始人克里斯托夫-舒曼（Christoph Schuhmann）先前告訴彭博新聞社，他不知道數據集中有任何兒童裸體內容，但他承認自己沒有深入審查數據。他說，如果接到有關此類內容的通知，他會立即刪除相關連結。

資助並推廣Stable Diffusion 的英國人工智慧新創公司Stability AI 的發言人表示，該公司致力於防止濫用人工智慧，禁止將其圖像模型用於非法活動，包括試圖編輯或創建CSAM。發言人在聲明中說：”這份報告重點關注整個LAION-5B 資料集。Stability AI 模型是在該資料集的過濾子集上進行訓練的。此外，我們還對這些模型進行了微調，以減少殘餘行為。”

LAION-5B 或其子集已被用於建立多個版本的Stable Diffusion。該軟體的最新版本Stable Diffusion 2.0 在資料集上進行了訓練，大大過濾了資料集中的”不安全”材料，使用戶更難生成明確的影像。但Stable Diffusion 1.5 確實能產生色情內容，而且在網路的某些角落仍在使用。發言人說，Stable Diffusion 1.5 並不是由Stability AI 發布的，而是由Runway 發布的，Runway 是一家人工智慧視訊新創公司，幫助創建了Stable Diffusion 的原始版本。Runway 表示，它是與Stability AI 合作發行的。

Stability AI 發言人補充說：「當用戶在我們的平台上與模型互動時，我們已經實施了過濾器來攔截不安全的提示或不安全的輸出。我們還對內容標籤功能進行了投資，以幫助識別我們平台上產生的圖像。這些層層緩解措施讓不良行為者更難濫用人工智慧。”

LAION-5B 於2022 年發布，依靠加州一家非營利組織收集的原始HTML 代碼來定位網路上的圖片，並將其與描述性文字關聯起來。幾個月來，關於該資料集包含非法圖片的傳言一直在論壇和社群媒體上流傳。「據我們所知，這是第一次嘗試真正量化和驗證人們的擔憂，」史丹佛網路觀察站的首席技術專家大衛-蒂爾（David Thiel）在接受彭博新聞社採訪時說。

在報告中，史丹佛網路觀察站的研究人員透過尋找此類影像的不同雜湊值或數位指紋來檢測CSAM 材料。然後，研究人員使用專用於尋找和刪除已知剝削兒童影像的API，並透過搜尋資料集中的類似影像，對其進行了驗證。

報告稱，史丹佛網路觀察站發現的大部分疑似CSAM 內容都經過了加拿大兒童保護中心等第三方的驗證，並透過微軟公司開發的一款名為PhotoDNA 的工具進行了驗證。報告說，鑑於史丹佛網路觀察站的研究人員只能處理有限的部分高風險內容，資料集中可能還有更多的濫用內容。

雖然資料集中存在的CSAM 數量並未顯示非法內容會”極大”影響人工智慧工具產生的圖像，但蒂爾表示，這很可能仍然會產生影響。他說：”這些模型非常擅長從少量圖像中學習概念。我們知道，這些圖像中有一些是重複出現的，有可能在數據集中重複出現數十次。”

史丹佛網路天文台先前的研究發現，生成式人工智慧影像模型可以產生CSAM，但這項工作假定人工智慧系統能夠透過結合兩個”概念”（如兒童和性活動）來做到這一點。蒂爾說，新的研究表明，這些模型之所以能產生此類非法圖像，是因為它們所依據的一些基礎數據。報告建議，基於Stable Diffusion 1.5 的模型”應在可行的情況下廢棄並停止分發”。