上礼拜帮人看一个蜘蛛池站群,随手 curl 一篇文章,返回头写着 Content-Length: 3.1M。一千字文章塞了六张图,全是 base64 内联。这种页面蜘蛛抓一半就断,后面那段等于白写。
base64 内联到底是个啥
正常配图是 img 指地址,浏览器再去下那张图。base64 内联是把图片二进制转成一长串字符直接写进 src。好处就一个,跟着 HTML 一起来,少一次请求。坏处是体积涨三成到四成,而且是纯文本,压缩也没多少油水。
蜘蛛为什么抓一半就不抓了
蜘蛛抓页面有字节上限,也有时间预算。3MB 的 HTML 读到一半就超时或超配额,这页只按抓到的部分算。日志对比过:同一批文章,700KB 的全抓完,2MB 以上的七成只啃了个开头,后半段关键词、内链、图片 alt 一个没进索引。更亏的是额度,一个 3MB 页面够它抓十个正常页。
我是怎么把图塞成 base64 的
说出来有点丢人。站群那个编辑器有个开关叫图片自动转内联,批量导入老文时默认勾上。我当时只看前台能不能显示,压根没翻源码。等发现时三百多篇已经全灌进去了,最大的单页 4.7MB,手机打开要等五六秒。
三个改法,按成本排
最省事是把 base64 还原成文件,存自己域名下,img 换回普通地址,同图多篇复用还能吃缓存。再一种压小,长边缩到 800 像素转 webp,体积砍到一成半。还有一种只留首屏小图。我选了第一种,写脚本正则匹配 data:image 开头的串,解出来落盘替换,三百多篇跑了一个多小时。
改完怎么验证
改完用 curl -s -o /dev/null -w 看每页 size_download,压在 300KB 以内算过关。再 grep 一遍 data:image,应该零命中。最后抽二十篇看前台图还在不在。那批 700KB 的文章两周内抓取深度从两屏涨到全文,长尾词也开始有展现。
几个容易忽略的坑
内联图不吃 CDN 缓存,每篇都要重传,宽带单会跳。同一张图在十篇里内联十次,蜘蛛就读十遍。编辑器升级还会把开关重新打开,改完记得回后台再确认。站点没开 gzip 白送抓取额度跟这是一路毛病,页面太重,蜘蛛跑不动。
图能外链就外链,能压就压,别图省事往正文里塞字符。HTML 控制在几百 KB,蜘蛛才愿意把一页读完。

评论列表