上礼拜翻 Search Console 的页面索引报表,我盯着一行数字看了半天:蜘蛛池四十个站,列表第一页篇篇收录,从第二页往后,一百二十多个分页全卡在已抓取、尚未编入索引。拆模板才反应过来,问题出在分页的规范链接——全被写死指回第一页了。
一、规范链接写死后发生了什么
我随手打开一个站的列表第 2 页,head 里那行 rel 为 canonical 的链接,href 写的是不带参数的首页地址,第 3 页到第 10 页一个模子。蜘蛛抓完第 2 页,收到的指令就是这页重复、去看第一页。结果第 2 页上那八篇刚发的文章,没有一篇被单独认领,全成了第一页的附庸。
二、规范链接给重复页盖章,不是给分页抹平
这标签的正经用途,是同一份内容挂在几个地址时让搜索引擎挑正主。分页不是这情况。第 2 页跟第 1 页根本不重复,它是新的一段列表,收的另外八篇。指回第一页,只能判整串分页重复,信号全归第一页。这跟抓取路径是两码事:不是抓不到,是抓到了不给身份,白来一趟。
三、我改的四步,顺序别乱
第一步分页自指,第 2 页的规范链接就写它自己带参数的完整地址,第 3 页写第 3 页,首页照旧不带参数。第二步补上可点的上一页、下一页,让蜘蛛顺链接走一遍,比靠猜参数省事。第三步把分页统一成 page 等于几的短形态,模板里的排序参数、来源标记全砍,同一页只留一个地址。第四步回 Search Console 用网址检查逐页验选定的规范页,抽十二个查,全对上才收工。
四、三周以后的对比数字
四十个站先动十二个。第三周,第 2 到第 5 页的编入索引从 0 涨到 186 条,新文章平均收录从九天缩到四天,四个站当天就进。没动的二十八个站,一百一十多页还躺着。抓取频次两边几乎一样,四百多次对四百多次,差的只是给不给身份这层,额度够用,倒是花在了不长东西的地方。
五、三个别顺手乱动的地方
别给分页加 noindex,看着像省额度,实际把深页的发现路径掐断,新文章只能等 sitemap 慢慢捞。别用 robots.txt 封 page 参数,封完蜘蛛连列表都翻不动。也别把分页规范链接指到某个聚合页,等于把十几页压成一页,长尾词一条都分不出。要压重复,压的是同一份内容的多地址;一个列表的不同段落,各是各的。

评论列表