客户说蜘蛛池站群这一周收录全停,一条没进。我先进后台,文章都公开着,浏览器打开也挺正常。换成百度蜘蛛的 UA 一 curl,每篇都回 500。人眼看不出,蜘蛛看到的是报错页。
500 对蜘蛛池来说意味着什么
5xx 是服务器自己的毛病,跟内容好坏无关。蜘蛛拿到 500,不会判这篇不值得收,而是记成这次没抓好,过几个小时再来。可要是每次都这样,抓取频次就一路往下掉。我这边从每天一千二百多次掉到三百出头,最先停的反而是首页推的那几篇。
浏览器正常,蜘蛛却拿到 500 的原因
Z-Blog 这套模板的侧栏有个模块,只对未登录访客渲染,它去查一张我上个月清库时删掉的表。登录态根本不走那段代码,所以我怎么点都顺。蜘蛛是匿名请求,正好踩进去,一行 fatal,整页跟着挂掉。
三条命令,半小时锁定
curl -A "Baiduspider" -s -o /dev/null -w "%{http_code}" 加文章地址,看回的是不是 500,别用 -I,有的站 HEAD 和 GET 走两套逻辑。再 grep -i "PHP Fatal" 当天日志,能直接看到报在哪个文件哪一行。第三条最笨也最快,侧栏模块挨个注释,一次关一个,哪次回 200 就是它。
处置顺序,别搞反
定位到就先修那段查询,改不了就整块注释掉,别留半截代码在里面。修完抽五十篇老文章过一遍状态码,全 200 才算收工,最好挑发布时间跨度大的,越老越容易出别的问题。清 opcache,这东西不清,改完前台还是老样子。剩下的交给时间,抓取回升三五天很正常。
别用假 200 兜底
有人图省事,加个 error handler 把 500 全改成 200 再给一句系统繁忙。整页内容照旧是空的,蜘蛛抓到的就是那句道歉,比 500 更糟。它会当成有效页面收进去,过阵子这批空壳还得再清一遍。
四个坑,我踩了俩
只测首页不测文章页,首页正常就当全好了。只看浏览器不看日志,浏览器永远骗你。改完不清缓存。还有拿 200 假页遮错误,前面刚说过。
十天的账
修好第十天,抓取从三百回到一千一,新稿入索引从十来天缩到四天。之前那批 500 的页面重抓了六十多篇,收录回来七十来条。状态码这块还有别的坑,服务器按段返回 206 也算一种(206 那个坑),排查时一起过。

评论列表