挂蜘蛛池之前，我一直以为引来的都是百度蜘蛛，后来翻了三个月日志才发现根本不是这么回事。不同池子引的蜘蛛构成差别很大，直接决定你该把精力花在哪。今天把这段日志分析经历写出来，配张蜘蛛访问记录表示意图，给还没看过自己蜘蛛来源的站长提个醒。
一、先说结论
结论一句话：蜘蛛池引来的蜘蛛构成不固定，百度蜘蛛占大头但绝不是全部。我的实测里，百度系蜘蛛占六成多，其余是搜狗、360、神马和其他小蜘蛛。挂池之前先问服务商池子里是什么蜘蛛，别稀里糊涂挂上去只看百度。
二、蜘蛛池到底引什么蜘蛛
蜘蛛池的原理是集合大量被搜索引擎信任的站点，把蜘蛛吸引过来再导流到你的站。池子里装的站点决定引来的蜘蛛种类。有的池子主打百度，收录的是百度云加速和百度相关域名；有的池子全站挂的是搜狗和360的验证代码，引来的自然就是这两家的蜘蛛。租池子的时候看清楚介绍，写着全引擎的大多是百度为主。
三、各搜索引擎蜘蛛差异
各家蜘蛛性格不一样。百度蜘蛛来的勤快，抓取频率高，但审查也严，内容水一点就掉收录；搜狗蜘蛛来的少，但来了基本都会抓完再走，适合文字内容站；360蜘蛛抓取最勤，但喜欢带参数的链接，容易造成重复抓取；神马蜘蛛主要服务移动搜索，对手机适配要求高。了解这些差异，才能判断池子对你有没有用。
四、怎么判断蜘蛛分布
判断方法不复杂，翻服务器日志就行。搜Baiduspider、Sogou web spider、360Spider、YisouSpider这几个关键词，统计各家的访问次数和抓取页面数，一个月的数据就能看出分布。不想手动翻的，用统计工具里的蜘蛛报表，很多日志分析软件直接帮你分好类。
五、我的实测记录
说组我的数据。挂池三个月，我统计了四万多次蜘蛛访问，百度系占六成三，搜狗占一成五，360占一成二，神马占半成，剩下的是一些行业采集蜘蛛。有意思的是，我按池子推荐的重点发文章，搜狗收录反而最快，三篇当天就进索引，百度反而要等三天。说明池子引来的流量结构，和你以为的不一定一样。
六、适用人群与使用建议
给三类人参考。一是做百度排名的，确认池子百度蜘蛛占比够高，太低等于白挂；二是做搜狗或360优化的，找对应蜘蛛多的池子，别用百度的池子硬等；三是移动端为主的，重点看神马蜘蛛抓取频率，顺带把手机适配做好。挂池头一个月先看蜘蛛构成，再决定内容方向。
七、注意事项和风险提示
提醒几句。一是别只看蜘蛛访问量，抓了不等于收录，要对应看索引数据；二是各家蜘蛛的UA字符串偶尔变，日志统计要更新规则，不然会漏算；三是池子蜘蛛构成会随着池内站点变化而变，隔两三个月复查一次分布。蜘蛛构成是挂池的地基，看明白了才不白挂。
评论列表