去年十一月我接手一个二十站的蜘蛛池,其中六个能用 www 和裸域同时打开。当时觉得这算什么大事,直到后台显示,其中一个站有 124 条地址在排队等抓取,而它一共只有 62 篇正文。
同一个页面,两个地址
裸域和 www 在服务器上指向同一个目录,谁访问都能出页面。代码里也没写 canonical,也没做 301。蜘蛛从外链进来一次 www,从 sitemap 里读到一次裸域,两份都被当成新地址收下。

数字是怎么摊开的
这个站原来日均被抓 143 次,多出来的一份地址吃掉一半还多,真正的正文只有 61 次。收录更难看,先收录的是裸域那批,www 那批卡在已抓取未收录,二十天后才开始一篇篇掉。
为什么比自己想的严重
没写 canonical 的时候,搜索引擎得自己挑主地址。它挑的时候不看你觉得哪个好看,看外链、看历史、看谁先被收录。挑错了也没提示,你只看到收录数不对、排名飘。外链被劈成两半,权重自然也散。
我做的三步
第一步,nginx 里加一条永久跳转,所有裸域请求 301 到 www,测试时特意用 curl -I 看了三次响应头。第二步,模板 head 里补 canonical,指向 www 版本。第三步,sitemap 全部换 www,把旧的那份重新提交一遍。
修复后第 21 天的账
第一周抓取反而升到 190,因为新旧地址都在队列里;第二周回落到 150,第三周稳在 128,全部落在 www 上。收录从 39 页慢慢走到 57 页,一个月后 61 页齐了。
顺手能做的检查
一条 curl 命令就能查完:分别请求裸域和 www,看状态码是不是 301、Location 是不是同一个地址;再看页面源码有没有 rel=canonical。二十个站跑一遍不到五分钟,比出事之后再补强得多。抓取深度这块我在链接层级压到两层里写过,配合着一起查效果更好。
最后说一句,URL 统一这件事不玄,属于基本功。做完不会有惊喜,但不做迟早会在某个月的对账里冒出来。

评论列表