要不是顺手扒了 nginx 日志,我大概还以为这批蜘蛛池站的收录慢是内容问题。按 UA 筛出来一看,蜘蛛请求最密的路径不是文章页,是 /feed/。半个月里订阅源占了蜘蛛请求一成八,正文页反倒比上个月低。站点 RSS 输出全文,等于自己给蜘蛛开了条岔路。
feed 为什么会被蜘蛛盯上
Z-Blog 和 WordPress 默认把 RSS 设成全文输出,图省事。订阅源更新频率高、结构简单,一次能吐十几篇,对蜘蛛来说性价比太高。它抓一次 feed 就等于拿到十篇的标题和正文,那还爬列表、翻分页干什么。结果内容它都看过了,正文页没被真正访问,索引信号弱,收录只能往后拖。
订阅源抢走抓取,账得这么算
蜘蛛每天有预算,新站一天几十到几百次。花在 feed 上,正文页就少。更麻烦的是我 feed 里的链接还带统计参数,蜘蛛顺着抓过去,落到的是带 ?from=rss 的地址,同一个页面出现两版,权重被劈成两半。这跟内链路径那篇讲的是一个理:蜘蛛走过来了,但走错了门。
我改的四处,不到一小时
一,feed 从全文改成摘要,只输出最新十条。二,feed 里的链接去掉跟踪参数,与正文页规范地址一致。三,给 feed 响应头加 noindex,别让它自己进索引。四,确认 sitemap 里只有正文页。改完留了四个站作对照,想看看差别多大。
一周后的对照比我预想的明显
改过的四个站,feed 请求占比从一成八掉到百分之四,正文页请求涨三成多。新发十二篇里七天进了九篇,对照的四个站只有三篇。抓取总量几乎没变,一天两百多次,只是花的地方换了。不是额度不够,是我一直拿额度喂一个不需要被索引的入口。
两个细节和一处反直觉
摘要别只输出标题,至少一百来字,光秃秃的标题没人点,抓取也没意义。feed 地址别硬下线,留个空 feed 或 410 更稳,直接删会让已订阅的人反复来请求。反直觉的是,feed 少了全文,正文点击反而涨了,阅读器里只看到一半,想看全的得点进来,算意外收获。
风险也说一句。改成摘要后,别人抓你的 feed 拼站拦不住,但至少整篇端不走。要收紧就在 feed 里加 canonical 指向正文,把版权声明写进 description。都是小动作,一两个小时能弄完,比盯着收录报表干着急实在。

评论列表