上个月翻站点日志,发现凌晨三点到三点二十这段,蜘蛛请求几乎全是 503,第二天抓取量直接腰斩。查了半个月,收录掉了两百多条,根子在备份脚本。
先弄清蜘蛛什么时候来
我把十二个站的日志按小时统计,发现六成抓取集中在凌晨两点到五点,白天少得可怜。这跟我原本的猜测正好相反,我一直以为蜘蛛白天来得多。抓取变少以后,收录速度跟着掉,一周只进十几个新页。
备份为什么会伤收录
我用的脚本每天三点整 mysqldump 全库,锁表那几分钟里,前台请求全卡住,超时后返回 503。蜘蛛连着几天在这个点吃闭门羹,抓取频率就被自己降下来了。它不会等你,只会记住这个站这个时段不稳定,把有限的抓取预算挪去别处。
我改的四件事
一是把备份从三点挪到下午一点,那个时段抓取占比不到百分之四。二是备份改成从库执行,主库不再锁表。三是维护页明确返回 503 加 Retry-After: 3600,别用那个 200 状态码的漂亮公告页,那是软 404 的坑,蜘蛛会当成空页。四是十二个站错峰,每十五分钟一台,别同时压。
十四天后的对照
凌晨时段的 503 从每天两百多次降到零。日均抓取从一千三百次回到两千一百次左右,一周收录从二十一篇到三十九篇。曲线不是立刻起来的,大概第五天才见明显回升,前面几天蜘蛛还在试探。
还有个细节是自己挖出来的:备份期间 PHP 进程被占满,前台不是干脆返回 503,而是先卡二十来秒再报错,蜘蛛那边记的是连接中断。所以只看状态码统计不全,得把日志里耗时超过十秒的蜘蛛请求单独拎出来数一遍。
几个容易犯的错
有人图省事在维护时全站 robots 加 disallow,哪怕只挂十分钟,蜘蛛当天就可能把整站标记成不可抓,恢复要等更久。备份完立刻批量改模板或改 URL 也不行,一改全站都变,蜘蛛一下涌进来抓,正好撞上你下次备份。日志默认只留七天,要提前转存,不然出了问题连证据都没有。Retry-After 别写太长,超过一天等于让蜘蛛第二天再来,新稿子等不起。
说到底,抓取时段这事得自己看日志,别看别人总结的规律。你的站几点被抓得最多,备份、跑脚本、发版都往那个时段的反面挪,收录自然就稳了。

评论列表