上周翻一个蜘蛛池站的日志,某个分类页底下的老文章,一天里被请求了 47 次,走的是 47 个不同的地址,内容完全一样,差别只在尾巴上挂着 ?sid=xxxx。这就是典型的参数污染,蜘蛛不是抓不到,是被你喂了太多重复入口,收录自然拖不动。
sid 这类参数本来不该出现在链接里
它是程序用来记住「你是谁」的一段会话编号,用户第一次访问时自动生成,跟着站内所有链接往下传。对访客没坏处,对搜索引擎就是灾难:同一个页面被算成几十个互不相关的 URL。除了 sid,常见的还有 ref、from、spm、_t 这几种,来源统计、渠道标记、时间戳,名目不同,毛病一样。
我遇到的三个后果
头一个是抓取额度被吃掉。站里三万来页,本该两周轮一遍,日志里重复地址却占了六成多,新内容排到后面去了。
第二个是收录判断混乱。同一篇文在索引里躺着三个地址,权重分散,系统得挑一个展现,挑来挑去哪个都不强。
第三个最冤:内链票投歪了。锚文本指向 A,蜘蛛顺着抓到的却是 A?sid=8831,等于把票投给了一个不存在的页面。
顺带说一句,上个月写过分类目录和标签页 URL 撞车,那是两种页面抢同一个词,这次是同一张页面自己裂成几十份,病根不一样。
我是这么查和修的
第一步看日志。把一天的访问按去掉参数后的路径归类,重复率超过三成的页面单独列出来,一般集中在列表页和侧栏那几处输出链接的地方。
第二步翻模板。搜 session、sid、ref,那客户的主题在生成侧栏最新文章时把当前查询串整段拼了进去,一改就干净。
第三步给兜底。改不动的老链接加 canonical 指回净版地址,robots 里 Disallow 带 sid 的路径。这俩只能止血,模板那刀才是根治。
改完多久见效
第三天日志里重复请求开始减少,第十天新文的首次抓取时间从平均六天压到两天出头,第四周收录率从五成出头爬到七成。别指望一夜之间好转,蜘蛛要重新算一遍你站的结构。
两个别踩的坑
参数别一刀切。购物车、登录回调、分页的 page=2 都靠它活着,删了功能直接坏。只清那些对内容毫无影响的跟踪参数。
canonical 写了不等于蜘蛛就听,它只是建议。内链还大量指向带参地址时,效果要打折。先改入口,再谈兜底。

评论列表