上个月帮人换模板,把文章地址改成了带中文标题的路径。两周后看日志,一篇讲长尾词的文章出现三个不同地址,抓取翻倍,收录一个没进。查下来不是池子的事,是 URL 编码没统一。
URL 编码到底干了什么
地址栏里看到的是中文,浏览器发请求前会转成 %E9%95%BF 这样的百分号编码,服务器解码后才对得上路由。一个汉字三个字节,就是三组 %XX,路径一长轻松破百字符。
三个地方最容易出岔子
一是链接写法不统一。编辑器里有的链接是中文原样,有的自动转成了编码串,浏览器看着一样,服务器未必认同一页。我数了 40 多条内链,两种写法各占一半。
二是大小写。%e9 与 %E9 是同一个字,但有的路由层按字符串比,大小写不同就算两条地址。curl 三种形式,一个 200、一个 404、一个 301。
三是解码层级不一致。Nginx 和框架对路径解码深浅不同,中文路径多解或漏解一次,就在两三个地址之间跳。
裂开之后蜘蛛会怎样
抓取额度被同一篇文占三份,三周该轮一遍的站只走了一半。地址带参数会裂,编码不一致也裂,那次是 sid 跟着走,这次是路径分家。
索引只挑一条留下,另外两条挂着「已发现未编入索引」。那个 404 还会压整批地址的频次,蜘蛛会以为这目录死链多。
四步排查
日志按解码后路径归类,一个路径多个原始地址就标出来。再用 curl 请求中文原样、标准编码、小写编码三种,比状态码。站长后台看「已发现未编入索引」是否同一批文。最后 grep 模板里的中文 href。
修法
出链统一一种写法,混着最糟。服务器层加规则把非规范形式 301 到规范地址,别给 404;canonical 与 sitemap 也只写一种。能改 slug 的话拼音更稳,中文路径在结果页还容易被截断。
修完的数据
统一后第二周,重复地址在日志里基本消失;第三周那批三十多篇陆续进索引,频次回到一天两轮上下。内容没动,只是把地址收成一个。
两个别踩的坑
别一把梭。有站用一条 Rewrite 把所有中文路径转到首页,分页标签跟着歪,问题从重复变成大面积跳转。
改 slug 必须留 301。旧地址直接删,攒的权重一起扔,蜘蛛来了只看到 404。
还有,别让编辑器二次编码,% 变成 %25 又是一条新地址,复制粘贴最容易出这事。

评论列表