池子跑了一年多,上个月翻带宽图才发现不对:十个站出网加起来 470GB,蜘蛛请求只占三成,其余全是明文传出去的 HTML。挨个查配置,八个站压根没开 gzip。

一条 curl 就能看出来
curl -I 带上 Accept-Encoding: gzip 请求首页,看返回头有没有 Content-Encoding: gzip。某站首页 135KB,压完 28KB,差了将近五倍。十个站只有两个真开了,其中一个还只压 css,HTML 整块漏在外面。
体积大,蜘蛛一圈跑不完
单页 130KB 明文,三十天 24000 次请求,文章页占 3600 次,传输量堆到 470GB。服务器出网限 100M,晚八点峰值排队,响应从 1.8 秒拖到 2.6 秒。来抓的次数没掉,读完的页面少了一截,这点跟首页体积那轮是同一个病根。
不是所有文件都值得压
图片、视频、字体本身就压过一轮,再套 gzip 基本白费。上面那张对照图很直白:JPEG 只省 2%,HTML 能省 71%。所以我只让 nginx 压 html、css、js、json、svg 几类,gzip_min_length 设 1024,小文件压完可能还更大。压缩级别用 5 够用,拉到 9 多花的 CPU 换不回那点体积。
改完七天,账对得上
传输从 470GB 掉到 98GB,峰值响应 2.6 秒回到 1.1 秒,日均蜘蛛请求 800 涨到 1150,收录从 130 条到 171 条。最直观的是新页进库,从三天缩到一天多。早先开着 gzip 的那两个站,数据一直比别的站好看。
两个容易踩的坑
一个是 CDN。源站开了压缩,边缘节点没开或者自己又压一遍,等于白折腾,得抓包看落地响应的 Content-Encoding。另一个是 Vary: Accept-Encoding 必须发,不发的话缓存会把压缩版塞给不认的 UA,反过来也会把明文发给支持的,修好又串味,跟CDN 缓存那轮是一套逻辑。
压缩改的是传输层,不碰内容,别指望它单独救收录。池子里该修的软404、该清的重复页照样排在前面,它只是让蜘蛛每趟跑得更省,同样的抓取额度能多读几十个页面。

评论列表