手上有个池子,分类里堆了 800 多篇文章,一页 15 条,翻下来 54 页。日志按蜘蛛 UA 数了一遍,第 1 到第 3 页天天有人来,第 5 页零星几个,第 20 页往后整整一个月零请求。老文不是写得差,是压根没人给它递梯子。
800篇堆在一个分类,蜘蛛到第5页就掉头
搜索引擎给每个站的抓取是配额制,一天能来多少次基本固定,页面埋得越深,排进队列的机会越小。列表页只靠“下一页”串下去,要到第 20 页得连点 19 次,蜘蛛算这笔账的时候,很容易把它归进“以后再说”那一档。跑一趟拿不到新东西,下次来得就更少。
我一个个排掉的三个原因
一是分页链条太长,54 页没有收口,蜘蛛翻到第 5 页就回头了。二是老文没有第二个入口,除了列表页就只剩 sitemap 提过一句,站内没有一篇新文链过去,标准的孤岛页。三是每页 15 条里 12 条是最新的,老文被一轮轮往后挤,越挤越深,最后挤进没人看的那几页。
把抓取深度压回3层以内
每页从 15 条改成 30 条,54 页直接压到 27 页。再把这 800 篇按主题拆进 5 个子分类,每个子分类首页只挂最新 30 篇,剩下的用分页兜住。
补两个横向入口:侧栏“本月热门”按点击排,取前 12 篇;文末按标签推 4 篇相关的。分页链接也换成明确数字,1 2 3 一直到 27,别只留上一页下一页,蜘蛛一次就能拿到十几个入口。sitemap 那边我早就分过片,做法写在 sitemap 索引那篇,这里不再重复。
改的时候踩的两个坑
拆分类会动 URL,每个旧地址都得 301 到新地址,不然老文那点收录全废,这步我第一遍漏了将近二十篇,第二趟全站爬才补齐。另一个是分页第 2 页往后别既设 noindex,又指望它帮老文传权重;canonical 也别一股脑指到第 1 页,那等于告诉搜索引擎后面这些页都不存在。
一个月后的账面
第 20 页往后的蜘蛛请求从 0 变成每天 30 多条,被索引的老文从 210 篇涨到 460 多篇,抓取总次数几乎没变,新文进索引也快了一天左右。说白了,配额还是那些配额,只是分得匀了。
内容多不等于收录多。目录太深、入口太少,蜘蛛就当这些文章没写过。

评论列表