上个月有站收录又卡住,我第一反应还是池子的问题,换了IP、加了外链,没起色。翻服务器日志才发现,蜘蛛压根没爬到新稿那一层,sitemap 后半段的地址它根本没读过。
日志里的怪现象
三十天的抓取记录,访问量不低,一天两千多次,但地址分布很怪:前两万条被反复抓,后两万条一次都没出现。我当时以为是权重不够,蜘蛛懒得往下走。后来拿 sitemap 地址一个一个比对,才发现它读到某个位置就停了,后面的条目像不存在。
问题出在一个没拆的 sitemap
这个蜘蛛池站点跑了两年多,sitemap 一直是一个文件,四万一千条链接,未压缩四十二兆。官方给的上限是单文件五万条、五十兆,我卡在红线以内,就觉得合规了。可实际下载时,蜘蛛要不了那么大的包,读到一半连接就断,剩下的条目它不会重试。压缩后六兆看着不大,解压那一步在它那边同样耗时。
怎么拆:按内容类型,再挂一个索引
我按类型分:文章一个、分类一个、标签一个、单页一个,每个控制在五千条以内。然后建一个 sitemap index,把四个子文件列进去,只提交索引这一个地址,子文件它会自己顺着找。几千条这种量级,蜘蛛一次拿完,不会半路掉。
分片粒度别太大也别太碎。五千条是我试下来比较好观察的档位,一个文件出问题,影响面就五千条,不会全站一起哑。文件名带上类型,比如 posts、tags,出问题一眼知道是哪块。
拆完两周的变化
重提交后第四天,日志里开始出现后半段的地址,第七天覆盖到九成以上。两周后新发的十九篇稿,十六篇进了索引,之前同期只有五篇。抓取总量没涨多少,但抓的地方对了,这才是关键。
几个容易踩的点
只提交 index,别再把四个子文件一个个手动交一遍,重复提交会分散抓取。已经 noindex 的页面别塞进去,白占额度。lastmod 别图省事写成当天,这个坑我另一篇里算过账,假时间戳会让蜘蛛对你的更新信号彻底失去信任。文件本身已经是 gzip 的,就别在服务器上再压一层,双重压缩蜘蛛解不开。分片之后改过地址的,索引里的旧文件名记得同步更新。
说句实在话,蜘蛛池能放大的只是抓取入口,页面这边自己不把路铺平,池子再贵也是白花钱。

评论列表