一、这个现象我遇到过太多次
用蜘蛛池的人，十有八九碰到过这个场景：首页被蜘蛛扫了一遍又一遍，新发的页面却一直没人来。我自己也经历过，一度以为池子出问题了，排查到最后才发现，问题大多出在我自己这边。今天把这些坑整理出来，帮大家少走弯路。
二、新页面没挂链接，蜘蛛凭什么来
最容易被忽略的，就是新页面压根没进蜘蛛池的链接体系。池子的原理是拿源站链接引蜘蛛，你新发的页面要是没往池子里挂对应的链接，蜘蛛来了也找不到路。我早期犯过这个错，发了一堆新文章，池子里还是老链接，结果新页面几十天零抓取。后来每次发新页必挂新链，抓取马上就正常了。
三、页面质量不过关，蜘蛛来了也不收
链接挂上了，蜘蛛也可能来，但来了发现页面不行，扭头就走。我测过：一篇千把字、有配图、更新及时的文章，和一篇几百字、没头没尾的短文，同样挂链，前者抓取次数是后者的四五倍。搜索引擎的蜘蛛不是机器人傻跑，它会按页面价值决定来不来、来几次。新页面想被频繁抓取，内容先得说得过去。
四、robots 和更新时间，两个隐形杀手
还有两个隐形问题。一是robots文件，我遇到过池子引蜘蛛引得很勤，但页面被robots规则挡了，等于白忙。二是更新时间，搜索引擎更愿意爬有变化的新鲜页面，我有一批页面几个月没动过，挂上新链接也没起色，后来更新了内容，抓取才回来。这两个坑，很多人排查半天都想不到。
五、我的完整排查流程
现在遇到新页面不抓，我按这个流程走一遍：先看新页有没有挂池子链接；再看池子日志里蜘蛛有没有来、来了停多久；然后查robots有没有误伤；最后检查页面内容和更新时间。四步走完，百分之八十的问题都能定位。我最近一次排查，就是卡在链接没挂，改完第二天抓取就恢复了。
六、风险提示和最后总结
最后提醒，别为了引蜘蛛就疯狂给新页面挂链接，一次挂太多，容易被判定为异常外链，反而连累整站。总结一下：蜘蛛池引来的蜘蛛不抓新页面，先查链接挂没挂、再看页面质量、robots和更新时间，四步排查基本够用。把这几关都过了，新页面被抓就是迟早的事。
评论列表