蜘蛛池跑了半年,我发现一件被自己忽略的事:抓取频次没降,收录却没动。翻访问日志才明白,蜘蛛每次进页面,一半时间在下载首屏那张一千二百像素宽的大图。抓取额度就是这么被一张图吃掉的。
一、抓取日志里能看出来的事
我把四十个站近四周的日志按资源类型拆开算了一下。蜘蛛请求总数一万一千次,其中请求图片的是四千二百次,占了将近四成;这些图片请求里,单次下载超过三百毫秒的有八成。等于说每来一次蜘蛛,小半个名额花在一张图上,正文页的抓取深度自然上不去。
二、大图是怎么拖慢蜘蛛的
这批散文站的模板是几年前买的,首屏 hero 图直接用设计稿导出的原图,一张 1.2MB,尺寸 1200×680,实际显示宽度只有 640。浏览器要下载全尺寸再缩,蜘蛛也一样。更要命的是 img 标签上没写宽高,页面加载时内容往下跳,蜘蛛渲染阶段直接判定布局不稳定;非首屏的图还都同步加载,一次进页面拉十几张。
三、四步处理,我按这个顺序做的
先把首屏图压到实际显示的两倍尺寸,640×360 导出,质量 82,WebP 格式,单张从 1.2MB 降到 96KB,看着没区别。第二步补上 width 和 height 属性,按比例写死,CLS 那项从 0.31 掉到 0.02。第三步非首屏图全部加 loading=lazy,只有第一张不进懒加载,避免 LCP 被拖。第四步给首屏图加 fetchpriority=high,让浏览器优先拉它,别跟脚本抢带宽。
四、改完三周的数字
页面平均体积从 2.4MB 降到了 780KB,服务器日志里单页下载耗时从 1.1 秒降到 0.4 秒。蜘蛛请求量没变,但深翻比例从 1.7 页涨到 3.4 页,收录数从一百六十篇涨到四百一十篇,四十个站里有六个先动。移动端那块更明显,手机 UA 抓到的完整正文页比例从六成涨到九成。
五、几个别踩的点
图片换了格式,文件名和 alt 别跟着改,改一次等于把原有图片收录清零,我吃过一回。别为了省体积把首屏图换成灰色占位,蜘蛛渲染时看到的是空白,会当成空壳页。CDN 那边如果开了自动压缩,本地就别再压一遍,两层压完画质糊得像旧手机拍的,用户跳出率反而上来。

评论列表