挂池之后，蜘蛛来没来、来得勤不勤，直接影响收录速度。我盯了三个月的服务器日志，把抓取频率的变化摸了个大概。今天把这些记录整理出来，配张抓取统计报表示意图，给刚挂池或者准备挂池的站长一个参照。
一、先说结论
结论一句话：挂池后蜘蛛抓取频率确实会涨，但不是匀速涨。我的观察是，头两周是试探期，频率忽高忽低；第三周开始稳定爬升；一个月后基本进入高位平台期。抓取频率稳了，收录和排名才有后续。
二、抓取频率是什么
抓取频率就是搜索引擎蜘蛛单位时间内来你网站抓页面的次数。日志里能看到的指标有几个：每天抓取次数、抓取时段分布、单次停留时长、返回状态码。频率高低不代表权重高低，但频率突然掉下来，往往意味着有问题。
三、挂池前后抓取频率对比
我拿数据说话。挂池前，我的站每天被百度蜘蛛抓三次左右，还经常隔天不来；挂池第二周，日均抓取到了八次；一个月后稳定在每天十五次上下。最明显的还不是次数，是抓取时段，原来蜘蛛只在凌晨来，后来白天下午也来，说明抓取被重视了。
四、日志要看的几个关键指标
日志别只看次数，几个指标要一起看。一是返回状态码，200占比要在九成以上，404和301多了要排查；二是抓取来源IP，确认是正规搜索引擎蜘蛛，别被恶意爬虫混进来；三是抓取页面分布，首页、栏目页、内容页都要有，只抓首页说明内链有问题；四是抓取时段规律，连续几天固定时段来，说明池的效果在稳定。
五、我的实测数据
三个月的数据我存了表格。挂池第一个月，日均抓取从三次涨到十二次，收录率三成五；第二个月抓取稳定在十五次，收录率到了五成五；第三个月抓取略有回落，每天十二次左右，但收录率继续缓升到六成。回落那次我查了下，是池到期忘记续费，续上又恢复正常。
六、适用人群与使用建议
给三类人参考。一是刚挂池的新站，前两周频率波动大别慌，正常现象；二是挂池一阵但抓取没起色的站，先查日志看蜘蛛到底来没来，别闷头加池；三是多个站一起挂的，每天花五分钟看下日志，发现哪个站频率掉了及时处理。日志是体检报告，定期看才管用。
七、注意事项和风险提示
提醒几句。一是别为了频率好看去刷日志数据，搜索引擎看的是真实抓取行为；二是抓取频率涨了别立刻加内容，先把现有页面质量稳住；三是日志里发现陌生UA大量抓取，可能是采集器，要设置屏蔽规则。频率是过程指标，收录和排名才是结果。
评论列表