常见的各大搜索引擎蜘蛛(搜索机器人)名称

发布者:技术编辑主任 发布时间:2017-03-10 11:05:21 阅读量:5392 标签: 蜘蛛  

导读 : 对于国人的我们来说,绝大多数站长朋友做SEO优化排名,主要做的和最想做好来的无非是百度、360及搜狗它们3个

1489115091710074.jpg

对于国人的我们来说,绝大多数站长朋友做SEO优化排名,主要做的和最想做好来的无非是百度、360及搜狗它们3个。作为一名站长非常有必要学会和养成分析IIS日志的良好习惯,在日志里我们可以一目了然的看到,哪些搜索引擎蜘蛛(机器人)访问了我们的网站,具体抓取了哪些页面,以及返回来的状态码如何(比如200表示访问正常、304代表自从上次请求后所请求的网页未修改过、404则代表服务器找不到请求的网页)等多方面的情况。只有当我们对这些充分了解了之后,才能有的放矢加以改进和完善,对于增加我们网站关键词的排名是非常有裨益的。本文给大家带来详尽分享,最常见的各大搜索引擎蜘蛛(机器人)准确名称大全,在我们的网站IIS日志里可以经常看到它们的身影。

一、百度蜘蛛

百度蜘蛛最新名称为Baiduspider,日志中还发现了Baiduspider-image这个百度旗下蜘蛛,我们直接看名字就可以知道它是干嘛的,是专门用以抓取图片的蜘蛛。常见百度旗下同类型蜘蛛还有下面这些:Baiduspider-mobile(抓取wap)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。

备注:以上百度蜘蛛目前最为常见的是,Baiduspider和Baiduspider-image这两种。

二、谷歌蜘蛛

这个争议较少,但也有说是Googlebot的。谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;”,除此还发现了Googlebot-Mobile,看名字显然是抓取wap内容的。

三、360蜘蛛

360Spider,它是一个很“勤奋抓爬”的蜘蛛。

四、搜狗蜘蛛

其名称为,Sogou News Spider。

搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider(参考一些网站的robots文件,搜狗蜘蛛名称可以用Sogou来简单概括)。看看最权威的百度的robots.txt ,http://www.baidu.com/robots.txt就为搜狗蜘蛛费了不少字节,占了一大块地方。

“Sogou web spider;Sogou inst spider;Sogou spider2;Sogou blog;Sogou News Spider;Sogou Orion spider”目前主要有这么6个,名称都带空格。线上常见Sogou web spider/4.0、Sogou News Spider/4.0、Sogou inst spider/4.0″,可以为它颁个“占名为王”奖。

五、SOSO蜘蛛

Sosospider,我们也可以为它颁发一个“勤奋抓爬”奖的蜘蛛。

六、雅虎蜘蛛

“Yahoo! Slurp China”或者Yahoo,名称中带“Slurp”和空格。

七、有道蜘蛛

YoudaoBot或者YodaoBot,两个名字都有,中文拼音少了个u字母令读音差别变得很大,这都会少?

八、MSN蜘蛛

msnbot-media,只见到msnbot-media在疯狂地爬呀爬个不停。

九、必应蜘蛛

其名称为,bingbot。

十、一搜蜘蛛

其名称为,YisouSpider。

十一、Alexa蜘蛛

其名称为,ia_archiver。

十二、宜搜蜘蛛

其名称为,EasouSpider。

十三、即刻蜘蛛

其名称为,JikeSpider。

十四、一淘网蜘蛛

其名称为EtaoSpider。

十五、本文小结

另外还发现了如:YandexBot、AhrefsBot和ezooms.bot这些国外蜘蛛,如果我们的用户不在国外那么对中文网站用处很小,那是完全可以也是应该屏蔽的。因为,各大搜索引擎蜘蛛(机器人)来我们网站抓取下载内容,是非常耗费我们的网站资源的。所以作为站长,需要根据用户选择对我们的流量有利的几个常用的允许抓取,其余的都可以通过robots来加以屏蔽其抓取


上一篇 下一篇

最近更新

热门文章

热门标签 茅台 市值蒸发 80后 节约2600万 280亿 国宝级国企 ofo人去楼空 Lime成功 互联网本质 ofo公众号 金立没落 Dolce & Gabbana 民进党惨败 刘立荣输钱 ofo创始人戴威 HTC 趣头条 子弹短信 中本聪 陈羽凡 阿里巴巴 蘑菇街 名创优品 滴滴“大象转身” 零售业“祖师爷” 摩拜 大润发创始人 全球手机产业链 创业公司 天音控股 瑞幸咖啡 百度外卖 当当 慧聪网 哈啰上线顺风车 打折卖 iPhone 海外支付大战 瑞幸 便利店 苹果市值蒸发 权健“帝国” 爆红营销事件 华为 小米 顺丰大举扩张 “无人货架”的衰落 酷派“罢免”CEO蒋超 诺基亚 浏览器混战 小罐茶 苹果 好市多 再见摩拜 马化腾 张小龙 华为、三星 三星血战印度 互联网贪腐高管 腾讯产品"死亡"名单 共享汽车途歌 苏宁认怂 王健林卖卖卖 流浪地球 视频网站 爱屋吉屋 华为嘲讽三星 黄怒波 全时谢幕 三大外资便利店 5年盟约 快递员 外卖员 ofo以购代退 魅族 电商办卡 借壳上市 九阳 人人车 大白兔 周黑鸭 绝味 拼多多 黄太吉 陈欧 顺丰“危机” 苹果新品发布 晨光文具 传音 乐友 江小白 努比亚 阿里拼多多 六个核桃 怀旧支付 通信 乐视网 外卖摆渡 全景网络 桥页 正确使用关键词加粗技巧来提升网站页面用户体验 网站是怎样分类 SEO刷排名 网站SEO优化的预期效果 怎么样去理解网站内容更新的重要性 百度熊掌号视频服务 将关键词优化到主页上 页面相似度对网站优化带来的不利影响 网站内容如何更新
官方客服 400-666-3155
友情链接

微信公众号

微信小程序

© 2020 dxm.so 《中华人民共和国增值电信业务经营许可证》编号: 川B2-20170249号 ICP证: 蜀ICP备14008752号 四川省成都市青羊区光华北三路98号光华中心D栋1609