Reddit向AI搜尋爬蟲發出侵權警告
Reddit 向人工智慧公司和其他搜刮者發出警告:遵守我們的規則,否則將被封鎖。該公司在更新計劃更新其機器人排除協議(robots.txt 檔案),透過該協議可以阻止對其平台的自動搜尋。
該公司表示,它還將繼續阻止和限制未與該公司事先達成協議的爬蟲類和其他機器人。該公司表示,這些變化不會影響”善意的行為者”,如網路檔案館和研究人員。
Reddit 的這項通知是在多方報道Perplexity 和其他人工智慧公司經常繞過robots.txt協議,該協議被出版商用來告訴網路爬蟲他們不希望其內容被存取。 Perplexity 的執行長最近在一次採訪時說該協議”不是一個法律框架”。
Reddit 發言人在聲明中表示,這並不是針對某家公司。發言人說:『這次更新並不是針對某個實體,而是為了保護Reddit,同時保持網路的開放性。在接下來的幾周里,我們將更新robots.txt 說明,盡可能明確:如果你使用自動代理訪問Reddit,無論你是哪類公司,你都需要遵守我們的條款和政策,並與我們溝通。
這已經不是該公司第一次在資料存取方面採取強硬立場了。該公司在開始對其API 收費時,就提到了人工智慧公司使用其平台的情況。
API收費時,該公司提到了人工智慧公司使用其平台的情況。此後,該公司與一些人工智慧公司達成了授權協議,其中包括Google和OpenAI.這些協議允許人工智慧公司在Reddit 的檔案中訓練自己的模型,這也是新上市的Reddit 的重要收入來源。
這句話中的”和我們談談”部分很可能是在不露聲色地提醒人們,Reddit 已經不再是一家免費提供內容的公司了。