有著賽博菩薩稱號的Cloudflare 日前宣布了一則重磅消息，該平台計劃在明年推出一個新市場，叫做市場是因為這個新平台將幫助內容創作者與AI 開發商進行交易。

按照Cloudflare 的描述，網站管理員可以將自己的網站放在市場中，如果有AI 開發人員願意付費購買內容，則可以抓取網站的內容用於AI 模型的訓練。

該公司稱如果AI 開發人員不以某種方式補償內容創作者，那麼內容創作者就會停止創作，這是必須解決的問題。 Cloudflare 也提到該公司聽到的都是內容創作者沮喪的聲音，因為現在各種AI 公司都在無償抓取內容，創作者感覺自己的內容被盜了。

目前Cloudflare 也提供了防止被盜的功能：網站管理員可以一鍵屏蔽各大AI 公司的已知爬蟲，直接從CDN 或防火牆層面攔截這些爬蟲，阻止這些爬蟲繼續抓取網站內容。

今年稍早知名人工智慧搜尋新創公司Perplexity 就被發現無視網站的robots.txt 協議，即便網站管理員已經明確禁止其爬蟲抓取內容，但Perplexity 仍會繼續抓取內容。

一些網站所有者也對這種情況深感無力，一方面自己的內容被人工智慧公司無償抓取，另一方面這些爬蟲還會高頻次抓取類似DDoS 攻擊，這導致網站要付出更高的伺服器和頻寬成本。

Cloudflare 新推出的一鍵屏蔽功能則可以在一定程度上解決問題，因為Cloudflare 直接屏蔽訪問不需要robots.txt 文件，該公司稱新功能讓網站所有者實現只有Reddit 和Quora 等大型網站才能做到的事情。

先前Reddit 和Quora 也開始禁止AI 爬蟲抓取內容用於模型訓練，這些大公司有龐大的團隊，透過各種機制攔截未經授權的爬蟲，對小型網站來說使用Cloudflare 的一鍵攔截確實會更加方便。