去年九月接手一个八站的行业站群,日志里 Baiduspider 一天来一千二百多次,可文章页几乎没动静。新发的稿子三天还停在「已发现未抓取」,老文章反复被抓,收录数不动。查三天,问题在响应头。
第一件怪事是每次请求都返回 200,文章页 46KB,光 HTML 一天传出去六十多兆。蜘蛛昨天刚来过,今天又把整页重拉一遍,这种重复下载看着不致命,实际在吃抓取额度,额度是固定的,重复内容多占一份,真正的新页就少一次机会。
第二个信号是 If-None-Match 发过去了,服务器压根不看。我拿 curl 手动带上 ETag 请求,返回还是 200,没有 304。说明 ETag 被关掉,或被插件改写。
第三个信号更直接:同一个页面的 Last-Modified 一小时变三次。缓存插件每次生成页面都刷新时间戳,内容一字没改,时间却不一样。两个校验头一个失效一个乱跳,蜘蛛没法判断「没变」,只能每次拉全量。
304 到底省的是什么
条件请求靠 ETag 或 Last-Modified 判断内容有没有变,没变就回 304,只传响应头。304 几百字节,200 是 46KB,差近百倍。这套机制在 Z-Blog 上常被缓存插件覆盖,按访问时间生成静态页的那种,时间戳永远是新生成的。
我怎么改的
三个站的缓存插件改成按文章修改时间生成 ETag,关掉没意义的 Last-Modified 刷新,再用 curl 复测:同一页面二次请求 304,响应体 0 字节。三连测三个 304 才算过。顺手在 CDN 那层也开了透传,不然源站回了 304、边缘又把整页吐出去,等于白做。
三周后的数字
文章页日均抓取从一千二降到七百,落地页却从四百二涨到八百一;HTML 传输量从每天六十多兆压到十八兆;收录从 62 个到 95 个。抓取次数下降不是坏事,同样额度里摸到了两倍页面。同期没改的四个站,抓取没降,落地页也没涨,对比很清楚。
两个坑
一是把 304 开在带参数页或登录页,蜘蛛拿不到内容,容易判成空页,我在另一个站踩过。二是 ETag 用文件哈希、缓存目录每次重建,哈希跟着变,等于没开。要么固定按文章更新时间生成,要么干脆只用 Last-Modified。
半年白扔的额度,说到底是没人看响应头。花半小时用 curl 打两下就能查出来。

评论列表