十一月五号,我用 site: 查自家收录,同一个列表页出来两条地址,一条是 category-8.html,一条是 tags 下面的聚合页,标题几乎一模一样。往下翻还有带分页参数的第二页、第三页。这批地址指向的文章是同一批,蜘蛛来一趟,等于把同样的内容看了三遍,还多花了两趟抓取的路费。
为什么会撞车
后台建分类时勾了生成标签聚合,标签名又跟分类名重合;分页参数没做规范化,page 后面跟数字的每个变体都能独立访问。蜘蛛从导航进来走分类页,从文章里的标签链接进来走聚合页,两条路都通,它就都抓。抓完还得自己判断哪条是正主,判断本身就是消耗,判断不明白就两边都不给权重。
我按三步收口
先定正主:列表页只认分类地址,聚合页与分页变体统一 canonical 指回分类第一页。再断入口:文章里的标签链接改成纯文字,导航里不再出现聚合入口。最后清尾巴:robots 里把带分页参数的路径整段挡掉,sitemap 只留分类第一页。三步做完,同一批文章对外只有一条地址。
为什么非得收口,不收会怎样
最直接的是抓取预算被摊薄。同一批文章挂三条地址,蜘蛛每多抓一条空白变体,就少抓一条正文。我那站一天大概六七十次请求,重复地址占掉近三成,等于每天白扔二十次机会。三个月累积下来,就是几百篇稿子排队等收录。
十天后的变化
重复地址从三十多条降到七条,列表页被抓次数一周内从四十一次降到十二次,正文页的抓取份额反而涨了两成多。最直观的是收录:新发十篇稿,十天进索引八篇,改之前同样周期只有五篇。
顺带说个体感,改完第二天我自己在后台发稿,前台链接点开是干净的分类地址,复制出去也不用再手动删参数。
两个别踩的坑
一是别拿 301 把所有标签页全指到首页,标签页本身有长尾流量,砍掉等于把词让出去,我留了搜索量靠前的二十个,单独做规范化。二是 canonical 别只写一半,分页第二页指向第一页的同时,第一页也得指自己,不然蜘蛛会顺着链条一路往上跑。
这套排查跟抓取额度被标签页、归档、搜索页吃掉是邻居问题,可以对着看。

评论列表