挂蜘蛛池之后,我接到最多的提问就是sitemap到底要不要开。有人怕开了蜘蛛只走地图不逛站,有人不开结果新文章一直没被抓住。我自己两个都试过,配张搜索引擎提交站点地图的界面示意图,把挂池期间sitemap的正确打开方式说清楚。

一、先说结论
结论一句话:挂池期间sitemap一定要开,但要开得聪明。开了之后蜘蛛多了一条抓取路径,新站收录明显提速;不开的话,蜘蛛来得再勤,新文章也可能漏抓。我的做法是sitemap常开、定期更新、提交到平台,不手动关闭。
二、sitemap和蜘蛛池是什么关系
蜘蛛池的作用是引蜘蛛来,sitemap的作用是给蜘蛛指路。池子把蜘蛛引到站点门口,sitemap负责告诉蜘蛛站里有哪些页面值得抓。两者配合,一个管来访频率,一个管抓取效率。只开池不开地图,蜘蛛进来乱逛,新页面容易被漏掉;只开地图不开池,蜘蛛来得慢,收录照样磨蹭。
三、核心原理与作用
搜索引擎抓取时,sitemap相当于一个目录清单,蜘蛛按清单走一圈,比靠链接一层层翻高效得多。挂池期间抓取量大,sitemap能把蜘蛛的抓取预算导向新文章和重要页面,避免它把时间浪费在重复内容上。尤其对新站,sitemap加蜘蛛池双管齐下,收录周期能明显缩短。
四、实操方法或步骤
我按四步来配。第一步,确认sitemap文件存在且路径正确,一般放在根目录的sitemap.xml;第二步,把sitemap地址提交到百度搜索资源平台和Search Console,提交后看状态是不是成功;第三步,文章发布后确认sitemap自动更新,新文章地址要能在地图里找到;第四步,挂池期间每周看一次sitemap的抓取统计,看新页面有没有被蜘蛛光顾,没被抓的页面检查是不是路径有问题。
五、我的实测记录
说组数据。我的博客站挂池初期没开sitemap,文章发了六篇,一周只有两篇被收录,其余干等。提交sitemap之后,同样是六篇新文章,三天内五篇进了收录,剩下的那篇是路径写错被地图漏了。后来我保持sitemap和蜘蛛池同时开,新文章收录从平均四天缩到一天半。还有一次sitemap没更新,新栏目文章全没被抓,手动刷新地图后蜘蛛半天内就把新页面都抓了一遍。
六、适用人群与使用建议
给三类人参考。一是新站挂池的,sitemap一定要开,这是新站收录的加速器;二是文章更新勤快的,确保sitemap自动更新跟上,别让蜘蛛扑空;三是栏目结构调整过的,重新生成一次sitemap再提交。建议挂池全程保持sitemap开启,配合蜘蛛池一起用,效果比单开任何一个都好。
七、注意事项和风险提示
提醒几句。一是sitemap只放要收录的页面,别把后台、登录页、标签页全塞进去;二是更新频率别太频繁,每天更新一次足够,频繁提交反而可能被搜索引擎忽略;三是提交后多观察几天状态,显示成功不代表蜘蛛马上就来抓;四是sitemap和池子都开着,抓取量翻倍,服务器带宽和缓存记得跟上。挂池是引路,sitemap是铺路,两条腿走路,收录才跑得快。

评论列表