十个站的池子套上 CDN 以后,新文章进库从一天变成四五天。原以为是扩容把抓取摊薄了,翻日志才发现蜘蛛照常来,读到的却是三天前的缓存副本。

命中缓存那一刻,源站根本不知道蜘蛛来过
源站 nginx 日志里的蜘蛛请求比实际少了大约三成,我拿一个 URL 的时间线对了一遍才明白:蜘蛛每天来两三次,落地的全是边缘节点。响应头里 X-Cache 是 HIT,Age 写着 259200 秒,正好三天。页面早就改过两版了。
三个设置叠一起,等于把站冻住
缓存规则把 HTML 当静态资源,TTL 给了七天;发布流程里没有调刷新接口,编辑发完就关电脑;CDN 那边也没给百度、谷歌 UA 单独放行。三样凑一起,源站更新再勤也没用,蜘蛛只能看到一份老快照。
一条命令就能确认是不是缓存问题
带蜘蛛 UA 抓一次头就行:curl -I 加百度 UA,看 X-Cache 和 Age 两个值。Age 比页面更新间隔还大,基本就定案。再拿同一 URL 不带 UA 对比,若两次结果不同,说明缓存键按 UA 分了,这种配置反而好查,最怕的是全量共用一份。
改法就两条:短 TTL 和发布即刷新
HTML 的 TTL 压到十分钟,图片、CSS、JS 保持三十天不变,静态资源版本号带哈希就够了。发布脚本最后加一步,按文章 URL 调刷新,不刷整目录,五分钟内生效。蜘蛛 UA 走强制回源,这类请求一天不到两千条,源站压力可以忽略。
七天后的账
改完第三天,新页进库中位数从 4.2 天掉到 11 小时,第七天稳在 6 小时上下。回源率从 12% 涨到 38%,源站 CPU 峰值 20% 到 46%,扛得住。三十天里十个站收录从 320 条到 470 条,涨的大多是新发的长尾页。
两个坑,踩过才知道
别图省事整站关缓存,源站会被打穿,蜘蛛遇到超时反而降频,这个和那次 DNS 拖慢抓取的后果一样。刷新接口有配额,批量刷目录几天就打满,按 ID 刷才够用。改版后旧链接的 404 也会被缓存,得单独刷一遍,不然爬虫一直读死链。
这轮最大的感受是,CDN 对蜘蛛来说不是加速器,是另一层缓存。跟抓取额度那轮一个道理,问题都出在中间层,不在池子大小。

评论列表