網路服務供應商Cloudflare 宣布即日起為所有網站(包括免費託管的網站) 帶來AI 審計功能，該功能目前處於測試階段，可以分析AI 公司的爬蟲和抓爬資料。新的AI 審計工具(Cloudflare AI Audit) 主要提供AI 公司的爬蟲何時到網站來抓取資料、抓取的資料位址、抓取頻次以及其他分析資料。

內容創作者和網站管理員可以藉助AI 審計功能輕鬆檢查自己的內容被哪些AI 公司白嫖了，如果被白嫖難受的話，也可以直接一鍵禁止抓取。

其中AI 審計工具中的禁止抓取與Cloudflare 已經提供的一鍵禁止所有AI 爬蟲抓取不同，在AI 審計工具中網站管理員可以分門別類的進行審計和屏蔽。

舉個例子：如果網站已經與OpenAI 達成協議允許其抓取內容，則網站管理員可以放行GPTBot 爬蟲，而其他認識的、不認識的、白嫖的爬蟲可以全部屏蔽。

在Cloudflare 的示範中目前能夠識別的爬蟲包括OpenAI、Meta、位元組跳動、Common Crawl (通用爬蟲，即不可識別到特定公司的爬蟲)、Anthropic、Amazon、Perplexity 等知名的人工智慧開發商。

如果網站本身沒有和任何一家AI 公司達成內容授權協議，那還可以透過AI 爬蟲的抓取頻次進行封禁，這樣可以避免某些公司的爬蟲進行高頻次抓爬耗費伺服器頻寬和流量以及影響正常用戶的訪問體驗。

此外Cloudflare 還計劃在明年推出交易市場，允許網站管理員設定自己網站的內容抓取價格，AI 公司如果願意的話可以付費獲取抓取權限，如果不願意付費那網站就可以透過Cloudflare 一鍵攔截爬蟲阻止內容被抓取。

AI 審計路徑：登入Cloudflare 控制台、選擇特定的網站、在左側導覽列點擊AI Audit 即可查看，目前此功能剛剛上線因此大部分網站資料可能還是空白的。