分享一些搜索引擎的蜘蛛User-agent
下面的User-agent都是從大站的robots.txt找來的，而非複制於其他網站文章。大家也可以自己蒐集下。
相比網上的數據準確定較高。關於搜索引擎的歸屬可能會有部分錯誤，搜索引擎歸屬都是本人自己分類的。
一些蜘蛛並沒有對應的搜索引擎，個別本人也搞不明白是啥玩意。各位朋友有知道的可以留言回复，我會更新上。
根據標準，ua區分大小寫！
| User-agent | 搜索引擎 | 其他備註 |
|---|---|---|
| Baiduspider | 百度搜索 | |
| Baiduspider-video | 谷歌搜索 | |
| Baiduspider-news | 百度新聞 | |
| Baiduspider-image | 百度圖片 | |
| Googlebot | 谷歌蜘蛛 | |
| Googlebot-Image | 谷歌圖片 | |
| AdsBot-Google | 谷歌廣告 | |
| Sogou wap spider | 搜狗無線端UA | |
| Sogou web spider | 搜狗網頁蜘蛛 | |
| Sogou inst spider | 搜狗 | |
| Sogou spider2 | 搜狗 | |
| Sogou blog | 搜狗博客 | 博客類站點教程類文章一般權重較高 |
| Sogou News Spider | 搜狗新聞 | |
| Sogou Orion spider | 搜狗 | |
| ChinasoSpider | 中國搜索蜘蛛 | |
| Sosospider | 搜搜網頁搜索 | |
| yisouspider | 神馬搜索 | 移動端 |
| EasouSpider | 宜搜蜘蛛 | |
| JikeSpider | 即刻蜘蛛 | |
| YYspider | 未知 | |
| 360spider | 360搜索 | 360蜘蛛不遵守robots.txt規則 |
| HaosouSpider | 360更名好搜後出的蜘蛛 | |
| Twitterbot | ||
| msnbot-media | MSN | |
| MSNBot | MSN | |
| WochachaSpider | 我查查 | |
| Bytespider | 今日頭條字節跳動 | |
| ToutiaoSpider | 今日頭條字節跳動 | 這兩個字節跳動UA都是在大站上找到的 |
| bingbot | bing搜索 | |
| Yahoo! Slurp | Yahoo | |
| EtaoSpider | 一淘網蜘蛛 | |
| HuihuiSpider | 惠惠購物助手 | |
| GwdangSpider | 購物黨 | |
| YoudaoBot | 有道 | |
| facebookexternalhit | ||
參考網站robots列表
https://www.baidu.com/robots.txt
https://tieba.baidu.com/robots.txt
https://www.jd.com/robots.txt
https://www.taobao.com/robots .txt
https://www.zhihu.com/robots.txt
https://www.sogou.com/robots.txt
https://www.aliyun.com/robots.txt
https://cn.bing.com /robots.txt
https://www.google.com/robots.txt