爬蟲我們大多都聽說過，最常見的就是搜索引擎爬蟲，比如百度蜘蛛、谷歌蜘蛛。一些同學可能就想到了，為什麼要限制這些爬蟲？

實際上在我們網站，爬蟲要比真實訪客多得多，很多站點真實訪客沒有幾個但是爬蟲就可以把服務器負載跑滿。

我們當然不會屏蔽搜索引擎爬蟲，但是當你的服務器性能不足時可以適當限制一下搜索引擎的抓取速率。各大搜索引擎的站長平台都可以設置。

除此之外還有很多采集機器人等等個人或者其他團體開發的爬蟲，一些可能是為了採集你的文章，一些則可能是在尋找你網站的漏洞。

常見的防火牆基本都可以識別出這些爬蟲，比如寶塔面板付費插件裡面的防火牆–掃描器，裡面就是常見的一些爬蟲。

總結：爬蟲的禁止有利有弊，本站沒有禁止過，服務器性能也足夠。並且也發現了幾個站在採集這邊的文章。個人覺得無所謂，想要採集就採集吧。大部分採集時候會帶上你網站的鏈接。

是否禁止掉自己考慮下即可。