被網友戲稱為賽博菩薩的CloudFlare 日前為所有免費用戶推出了AI 爬蟲防護設置，該功能其實以前就有但需要按照規則進行設置，而規則功能則需要開通CloudFlare Pro 等訂閱計劃才能使用。

新推出的AI 爬蟲防護(AI Scrapers and Crawlers) 則是面向所有用戶推出的一鍵設置，無論是免費還是訂閱用戶，只需要一鍵開啟該選項後即可。

CloudFlare 稱開啟此選項後將會阻止機器人和爬蟲抓取網站內容用於訓練人工智慧模型，這可以避免某些人工智慧公司未經授權直接抓取網站內容。

背後的運作原理暫時還不清楚，不過大概率是CloudFlare 已經整理並識別常見的AI 爬蟲例如OpenAI 的GPTBot，只要根據這些爬蟲的名稱進行攔截即可。

CloudFlare 為數以百萬計的網站提供安全防護和分發服務，因此這項功能也確實有實際意義，畢竟有不少網站尤其是新聞媒體類的網站都是版權保護的。

只不過問題在於爬蟲識別本身也是防君子不防小人，像OpenAI 這樣公佈自己的爬蟲名稱並表示會遵守robots.txt 協議還好處理，問題是很多公司壓根不遵守協議也不公佈自己的爬蟲名稱，瘋狂抓爬網站取得內容。

這種情況下想要攔截就需要想一些對策了，例如對於高頻抓爬的UA 直接封禁，開啟CloudFlare 的真人驗證等功能，防止各種爬蟲繞過CloudFlare 的AI 爬蟲防護。

如何開啟此功能：CloudFlare、控制台、前往對應網站、安全性、自動程序，開啟AI Scrapers and Crawlers 即可。