Reddit 更新了robots.txt 文件，禁止必應和許多其他搜尋引擎抓取該網站。微軟的一位代表透露，”必應在7 月1 日更新了robots.txt 檔案後就停止了對Reddit 的抓取，因為該檔案禁止對其網站進行任何抓取。”

2024 年7 月1 日，Reddit 更新了robots.txt 文件，阻止許多搜尋引擎和人工智慧工具抓取網站。 Reddit 並沒有阻止Google抓取該網站，但確實阻止了大多數其他爬蟲抓取網站。

必應因此停止抓取Reddit 上的新內容，這就是為什麼當你在必應搜尋中過濾Reddit 上週的搜尋結果時，什麼也看不到的原因：

微軟發言人說：

“我們尊重robots.txt 規格。必應在7 月1 日實施了更新的robots.txt 檔案後，就停止了對Reddit 的抓取，該檔案禁止對其網站進行任何抓取。

Reddit 發言人 Tim Rathschmidt在聲明中說：

“這與我們最近與Google的合作完全無關。我們一直在與多個搜尋引擎進行討論。我們無法與所有搜尋引擎達成協議，因為有些搜尋引擎無法或不願就其使用Reddit 內容（包括用於人工智能）做出可執行的承諾。

隨著Reddit 與Google達成協議，Reddit 屏蔽了大多數其他搜尋引擎對其內容的抓取。 同時，Google最近正努力為Reddit 帶來流量，包括在搜尋結果中為其測試特殊待遇。

這不禁讓人懷疑，其他大型網站是否也能嘗試走這條路，而小型出版商和內容生產商又該何去何從？