SEO工具之各大搜索引擎蜘蛛的喜好分析

 

大家都做SEO,?#31185;?#23454;我们每天打交道最多的就是搜索引擎放出来的小机器人,也叫搜索引擎蜘蛛,认为大家要做的事情就?#21069;?#23427;们伺候好,顺其意投其好,下面为大家做下各大蜘蛛的喜好分析。

一、首先我们认识下各大搜索引擎蜘蛛的名字

google蜘蛛: googlebot,百度蜘蛛:baiduspider,搜狗蜘蛛:sogou spider,搜搜蜘蛛:Sosospider,yahoo蜘蛛:slurp,alexa蜘蛛:ia_archiver,msn蜘蛛:msnbot,altavista蜘蛛:scooter,lycos蜘蛛: lycos_spider_(t-rex),alltheweb蜘蛛: fast-webcrawler,inktomi蜘蛛: slurp,有道蜘蛛:YodaoBot和OutfoxBot,热土蜘蛛:Adminrtspider 。当然这里只是象征性的列一下,就算我们分析日志的时候看到了也不要太奇怪,?#21482;?#32773;你想禁止它们爬你的站点也是可以的。

二、各大搜索引擎蜘蛛的习惯小结:

google蜘蛛:不太爱爬,但爱收录。

百度蜘蛛:爬谨慎,收录更谨慎。

搜搜蜘蛛:爱爬图片,经常绕在动态地址里出不来。

雅虎蜘蛛:恪守规则,每次都是先爬robots.txt。

其他的没有太多留意,就不多说了。

三、各大搜索引擎蜘蛛对于robots.txt的支持程度

全部分析可能也不现实,这里拿Disallow: /*?*分析(禁止动态页面抓取)。

google表现:写了禁止就不再爬,会在谷歌站长工具中列出来它想爬被你阻止了。

百度的表现:写了禁止之后很少爬,但是偶尔也会爬,相信是起作用了,因为越来越少,以前一天几次现在几天一次。

搜狗蜘蛛:可以说是基本不听话,也不知道是不是不吃这个规则,说它完全不吃它也吃了一点,只?#21069;?#21160;态地址的问号拿掉了,然后照爬,一爬就是一大片,这不知道它能爬出什么东西。

搜搜蜘蛛跟雅虎蜘蛛好像差不多,感觉还是挺有效的,禁止之后没有再有它爬过的痕迹。   经过以上分析,大家对这些蜘蛛该有一定的初步了解了吧?希望大家能继续关注各大蜘蛛,深入挖掘其行为习惯,从而可以更好的有的放矢,做好工作。

 

相关文章

发表评论 取消回复

电子邮件地址不会被公开。 必填项已用*标注

上海时时乐推荐预测
2018海南环岛自行车赛 河北快3走势图开奖 福建11选5开奖视频 双色球四胆计算公式 100期两码中特 惠泽社群一尾中特 成都22人合买大乐透中大奖 97tk图库 2元彩票 7串8奖金怎么算 河南快三历史开奖结果 大乐透机选号码投注 重庆幸运农场开奖记录 18真人游戏 公开合数单双中特