上个月池里三个站抓取量掉了七成,我头一个念头是证书又出事,翻完发现握手正常,日志里成片刷着 429 Too Many Requests——不是蜘蛛不来,是我自己的 CC 防护把百度蜘蛛当成了肉鸡。

429 和 403 到底差在哪
403 是明确拒绝,告诉爬虫以后也别来;429 是暂时压着,意思是请求太密。对蜘蛛来说前者等于关门,后者等于排队,本来几分钟的事,可要是连续几天都排队失败,抓取配额就会自动往下调。问题在于很多站长只盯 404 和 5xx,429 夹在中间看着不痛不痒。
三个站一共拦了多少条
拉三天 access log 按状态码分组:200 占 61%,429 占 33%。429 全来自主机面板的 CC 防护,规则是同 IP 60 秒超 40 次就拉黑 10 分钟。蜘蛛单站一天两三百次,峰值一小时上百,轻易撞线。
我怎么定位到是防火墙
第一步按 UA 过滤只留 Baiduspider,看它的返回码,全是 429;第二步用 nginx 侧日志对照,应用层根本没收到请求,说明拦在更前面;第三步把防护模块关十分钟再放一批 URL 提交,抓取立刻恢复。三步走完,百分之八十是本地防护、CDN 的 WAF 或者云厂商的频控在作怪。
处理办法和具体数值
我没有干脆关掉防护,而是加了三层:把已知蜘蛛 IP 段放进白名单并且跳过频率限制;CC 阈值从 40 次/60 秒放宽到 300 次/60 秒,普通访客根本达不到;面板里那个一键拉黑改成只对 POST 生效,蜘蛛都是 GET。改完两天,429 占比压到不足 1%,抓取量第三天回到原曲线。
别顺手把假蜘蛛也放进来
白名单有个坑:只按 UA 匹配,随便改个名字的采集器也能进。我的做法是 UA 加反查 IP 双重校验,再跟robots 里那条规则呼应,把不该抓的路径挡在外面。这一步比调阈值更要紧,不然你省下的带宽会换个方式还回去。
这次踩的坑值多少钱
三个站掉七成抓取量一周多,按之前证书那一轮的恢复节奏估,收录补齐得两三周。真正麻烦的是后台看不出问题,面板上一切正常,曲线却在往下走——这种被自己人挡住的情况,比外部原因隐蔽得多。

评论列表