上个月帮人查一个池子的收录,site: 一搜,同一篇文章跳出来两条结果,标题一模一样,地址只差末尾一个斜杠。点进去内容也一样。这种事儿不新鲜,可真去数,120 多篇里有 37 篇是这种双地址,等于三分之一的文章被劈成了两半。
斜杠在域名后面无所谓,在路径上就是两个页面
带斜杠和不带斜杠,服务器一个当目录、一个当文件,返回的内容哪怕一模一样,在蜘蛛眼里也是两个 URL。大小写同理,谷歌区分 url-a 和 url-A,必应不分,我原先以为两家都不分,吃了亏才知道。
37篇双地址,我是这么翻出来的
先拿 curl 分别请求两个版本,看状态码和正文长度,37 篇里 29 篇两边都返回 200,另外 8 篇一个 200 一个 301,算半治好,还剩两篇干脆 404。再用 site: 查,双结果摆在那儿,比猜快。最后 grep 站内链接:模板里分页、面包屑、相关阅读各写各的,一半带斜杠一半不带,老文被两种地址同时链着,蜘蛛顺着爬就各记一份。
三处动手,把地址收成一个
全站统一留斜杠,反向的做 301。Nginx 一条 rewrite 能收,但 Z-Blog 的伪静态规则得放在前面,我第一次顺序写反,全站 500,回滚才救回来。站内链接生成改成统一函数,模板里手写的地址一并清掉,我改了 9 个模板文件。canonical 补上,每个页指自己那一个标准地址;sitemap 重新生成,别让两种地址都进去,分片做法写在 sitemap 索引那篇。大小写顺手一起清,目录名全改小写,老链接留着 301。
两个坑,踩过才算懂
301 别链成多跳,A 跳 B 再跳 C,蜘蛛跟到第二跳就容易放弃,直接把非标准版本一次指到最终地址。也别拿 302 顶着,临时跳转蜘蛛会当两个都有效,问题原地不动。
三周后的变化
双址结果从 37 条掉到 4 条,剩下几条是别的站转载,管不了。收录总量没暴涨,但同一篇文的点击不再被劈成两半——原来一条链的权重摊给两个地址,现在归到一处,老文里平时没动静的四五篇又开始有蜘蛛路过。
这种毛病上不了头条,可最费时间,也最容易漏。改完记得隔两周再 site: 一遍。

评论列表