有个做蜘蛛池的哥们三月找我,说新站发出去二十多篇文章,一条都没进索引,后台也没报错。我让他把 sitemap 索引文件打开念给我听,念到第三个就停住了——那三个子文件早就删了,地址还留在索引里。收录上不去,不是内容不行,是入口先断了。
索引层到底是个啥
文章多了以后,站点会把 sitemap 拆成好几个子文件,posts、pages、categories 各一份,再用一个 sitemap_index.xml 把它们列出来。蜘蛛先拉索引,按里面的 loc 一条条去取子文件。任何一个子文件挂掉,后面那批 URL 就等于没提交过。
我是怎么发现的
先 curl,别先开后台。索引里每条 loc 挨个请求,看返回码。他那份 11 条:3 条 404,2 条返回 200 但内容是空的——空壳比 404 更坑,蜘蛛以为拿到了,解析出来零条 URL。
再对数量。11 个子文件加起来该有 4700 多条 URL,实际只读到 2100 条。
最后看日志。蜘蛛每天还来拉一次索引,拉完就撤,子文件请求几乎为零,它试几次就学乖了。
这个问题跟之前写的sitemap 一个文件塞四万条正好相反:那篇是文件太大读不完,这篇是索引指错了路,连读的机会都没有。
四个动作,一天做完
一是重新生成,让程序按实际存在的文件重写索引,别手写,人一懒就忘。
二是给旧名留活口,已经交出去的老文件名用 301 指到新的,别直接 404。蜘蛛手里有旧账,跳一下比断掉好。
三是空壳文件要么修数据源,要么从索引里摘掉,别留着占位。
四是回后台重新提交,只交索引一个,子文件不用单独交,顺手点次抓取看返回。
多久恢复的
第四天日志里子文件请求从每天个位数涨到二十几次,第七天开始有新文被抓,第十二天第一批 9 篇进了索引,第三周累计收录 31 篇。比正常慢,但至少动了。
几个容易踩的点
别频繁换名。每换一次蜘蛛要重认一遍,前面的抓取记录全废,改结构时老名留跳转。
索引里别塞已删除的文章。有些程序生成时不查状态,草稿、回收站也写进去,大批 404 会把整个文件的信任度拉低。
子文件控制在 5000 条上下、50MB 以内,超了拆,别硬塞。
还有,索引文件自己也得能访问。有人 robots 里顺手 Disallow 了 sitemap 目录,把门锁了还以为在开门。

评论列表