蜘蛛池收录掉到零是十月中旬的事。四十个站,日志里蜘蛛的访问次数从每天三千来次,三天内变成 0,后台收录数挂着没动。我第一反应是算法调整,翻了两天没找到痕迹,第三天早上拿蜘蛛的 UA 手工请求了一次,返回 403。不是算法,是自家防火墙把蜘蛛当攻击拦了。
一、先分清 403 和 404:收录归零的两条岔路
收录突然掉,我一般先看返回码。站点返回 404、文章页变空壳,那是内容侧的问题;一周之内所有页面全返回 403,蜘蛛就会把整站标记为不可访问,收录数清零只是时间问题。判据很直接:在服务器本地用 curl 带 Googlebot 的 UA 请求一次,看拿到的是 200、403 还是 429。
二、这次拦我的是三样东西的叠加
一台站的安全插件开了「拦截恶意外爬」的开关,规则是按 UA 里的关键词粗筛,凡是 UA 带 bot 又带 scan、check 的路径一律 403;池子里有一批检测页恰好长这样,整站被封。第二层是 fail2ban,阈值设成一分钟十五次,蜘蛛爬分类页翻得比人快,被判定爬虫攻击,IP 直接封二十四小时。第三层是 CDN 那边的自定义规则,把所有非中国大陆 IP 段放宽成了怀疑对象。
三、四步修法,按顺序来
先做白名单,把官方公布的蜘蛛 IP 段整段放行,别只写 UA——UA 是能随便改的,光认 UA 等于给伪装者开门。第二步是双校验,请求来了查 UA 加反向 DNS,两样都对才放行。第三步把按关键词粗筛的规则关掉,它除了拦蜘蛛几乎没别的用处。第四步把 fail2ban 的窗口从一分钟十五次放到一分钟四十次,并且只对登录、评论接口生效,不覆盖整站。
四、恢复的时间线和数字
改完二十四小时,日志里重新看到蜘蛛,一天四十来次,比平时少,属于重新试探。第四十八小时到三百次,第七天回到两千八,接近出事前的水平。收录从十二篇开始回涨,两周到二百一十篇,四十个站里三个老站回来得慢,那三个站我另外去提交了一次 sitemap。
五、两个容易忽略的坑
白名单别写在插件里写完就完事,CDN 一层、服务器一层、应用一层三层都要看,任何一层拦了都等于零。还有封 IP 的记录要定期清,我翻日志时发现有两个 IP 在两个月前就被 fail2ban 封过,规则一直在,蜘蛛每次来都被弹出去,收录自然上不去。

评论列表