上半年帮朋友看他的蜘蛛池站群,四十多个站共用一套模板。百度搜索资源平台的抓取诊断里,抓回来的页面标题显示成一串问号,起初当工具抽风,连试三家站都这样,才确定是页面自己的问题。
编码这件事,错一层就够乱
一个页面关于编码其实有三种说法:服务器响应头里的 Content-Type charset、HTML 里的 meta charset、文件本身的真实字节。三处只要有一处和真实编码对不上,蜘蛛按响应头去解码,出来的就是乱码。中文站最明显,GBK 两个字节被 UTF-8 当三字节读,一个字变三个问号。
两条命令就能定位
curl -I 看响应头,Content-Type 后面光秃秃的,压根没带 charset;再 file -i 看文件真实编码,是 GBK;打开源码翻 meta,写的是 utf-8。三个说法、两个编码,问题就在这儿。
三种错法我都踩过
一是模板从老站拷过来,meta 写死 utf-8,文件却另存成了 ANSI;二是数据库导出时用了默认字符集,转码没转干净,一部分老文章还是 GBK 字节;三是 CDN 或防火墙把响应头重写了一遍,charset 被抹掉,甚至补了个 iso-8859-1,比不写还糟。
四步改干净
先定死一个编码,全链路统一 utf-8:编辑器另存、数据库连接串加 utf8mb4、历史数据重新导出一遍。然后响应头补齐,nginx 里加 charset utf-8,让 header 和 meta 说的是一回事。改完别急着批量动老文,抽十篇跑抓取诊断,标题能正常显示中文再往下推。sitemap 和 RSS 也顺手看一眼,xml 声明里的 encoding 写错,一样乱。
改完之后的数字
三百多篇里翻出 87 篇标题乱码,全部重存提交。第 9 天开始有长尾词展现,两周后收录回到以前的水平。这毛病和 Markdown 没渲染那件事有点像,蜘蛛读不懂,它就不收。
三个坑
只改 meta 不改响应头,等于白改,蜘蛛优先信 header。只改发布模板不重存老文,过两年那批旧稿还会冒出来。还有 CDN 回源时会按自己配置重写 Content-Type,得在回源规则里单独放行,不然后台看着对,蜘蛛拿到的仍是错的。
编码这活儿听着枯燥,可它决定蜘蛛能不能读懂你的标题。读不懂,权重再高也换不来收录。

评论列表