上个月把一个二十站池子的日志按 URL 类型分了组,才发现真正花在文章上的抓取只有三成,剩下全被标签页、日期归档和站内搜索页吃了。蜘蛛池加速收录做了半年,这个细节一直没看。

4.1 万次抓取,文章页只占 1.2 万
挑日抓取最勤的那个站,三十天 41000 次。标签页 17400,日期归档 6300,站内搜索结果页 2100,列表翻页 3400,文章页 12100。每个标签页只有十条摘要,跟文章页内容高度重复,蜘蛛一趟趟来读同一批标题,读十遍也读不出新东西。这站每天发两篇,每篇生成一个标签页,老标签还在被反复翻。
先关三个入口,别急着删内容
标签页和归档页挂 noindex,follow,内容留给读者,索引里不要它们。站内搜索结果页用 robots 封 ?s= 和 ?q= 两个参数,这类页面蜘蛛能翻出成千上万个。列表翻页保留,但每页 canonical 写自身,别都指到第一页,否则蜘蛛读完第一页就回撤。
日志怎么拆才看得清
命令很土:awk 切 URL,按路径前两段分组,sort 加 uniq 数次数。二十个站的日志丢同一台机器上跑,五分钟出表。看不懂的行拿单条日志对着页面翻一遍,比什么工具都快。
清理后第三十天
改完第七天总抓取降到 36000,看着像退步,其实文章页从 12100 涨到 21800。第三十天总量回到 39000,文章页 29000,收录从 41 条到 78 条,新发的六篇有篇隔天就进了库。总量没多,是结构换了位置。
有几样东西不能跟着砍
正文分页砍了,读者翻不到第二页,收录也跟着断。带参数的商品筛选页本身有搜索量,封掉等于扔入口。sitemap 里列着的地址更别挂钩 noindex,自己打自己脸——上一轮那个站就这么把索引清了零,白抓三百多次。
现在我每周只看两个数
文章页抓取次数、重复页占比,放一起看就有结论。这个比盯总抓取量靠谱,跟层级压缩那轮是同一个道理:额度不会凭空变多,只会在结构里挪来挪去,挪错地方就是白喂,我这轮的账算下来,两个月的收录停滞其实就卡在这。

评论列表