蜘蛛池挂上去抓取是涨了,可收录一直不动,后台数字像钉住一样。我把四十个站的 sitemap 逐个打开看,问题基本落在三处,改完十四天收录从十二篇涨到三十一篇。
第一处:地址写死了旧域名
有一批站换过域名,sitemap 里的 URL 还是老的,蜘蛛打开全是 301。这类错误最隐蔽,因为文件本身能访问,浏览器打开也不报错,看着一切正常。我的做法是生成时直接用当前域名变量,不手写,也不复制别站的文件。
第二处:lastmod 全是同一天
批量生成的 sitemap 把每条修改时间都写成生成当天,蜘蛛第一次来发现四十篇都是新的,第二次来还是同一天,信任度就慢慢掉下去了。改成按文章真实更新时间输出,抓取频次没变化,但内页进索引的比例明显高了。
第三处:什么都往里塞
标签页、筛选页、分页全进了 sitemap,一个站五千多条,四个站就撞上单文件上限。我现在只放正文页和栏目首页,标签页从 robots 里挡掉,数量一下降到八百条以内,文件也小了很多。
正确的写法长什么样
一个文件不超过五千条,超过就拆成索引文件;每条只写 loc 和真实的 lastmod,优先级和更新频率那两项可以省,多数蜘蛛早就不看了;压缩包用 gzip,能省一半带宽。
验证办法
改完别急着提交,先本地打开看前十条,确认域名对、时间各不相同、没有带参数的地址。再在站长平台重新提交,三天看抓取,七天看索引。这套检查我放进了每月的例行表,比事后排查省事得多。
顺带一句
站点地图只是告诉蜘蛛路怎么走,页面本身值不值得收是另一回事,长尾词怎么铺可以看长尾词三层那篇。
为什么蜘蛛会重复读同一个文件
蜘蛛读 sitemap 是有节奏的,文件一改就重新读。我原来设成每天自动生成一次,蜘蛛天天读一份没变化的文件,白白占配额。
多久更新一次
现在改成有新增文章才重建,一周最多两次。提交记录里的读取次数反而降了,省下来的抓取预算都给了正文页。
文件命名也统一,别一版一个名字,蜘蛛和人都容易看混。旧文件我顺手删掉,别留两份互相打架。

评论列表