去年夏天一个蜘蛛池客户找我,说新发的文章一个月都进不了索引,问是不是池子不够大。我让他把 robots.txt 发过来,第一行就写着 Crawl-delay: 10。他以为这是在给蜘蛛提速,其实是把自己家的门关上了。
Crawl-delay 到底管什么
这个指令的意思是两次请求之间至少隔几秒,属于给服务器的礼貌值,不是加速开关。Googlebot 压根不读它,完全按自己算出来的抓取预算走;百度的蜘蛛会参考,但不保证照办。
你把数值写成 10,等于明面上告诉它慢点来。一秒钟一个请求变成十秒钟一个,一天能把几千个页面扫一遍的额度,缩到几百个。蜘蛛池这条链路里,池子本身只负责带路,真正决定你新文章什么时候被看见的,是目标站自己的抓取额度。
两组数据摆一起看
他一共跑了两个池子,目标站结构差不多。
A 站带着那行 Crawl-delay: 10,日志里蜘蛛日均请求 240 条上下,新文平均 31 天才收录,其中三成最后压根没进去。B 站三个月前把这行删了,改成在站长平台按服务器压力反馈调抓取频次,日均请求稳在 900 多条,新文平均 3.5 天就出现在索引里。同样的池子量级,差了一个数量级的周转速度。
要调就按这个顺序调
先把 robots.txt 里的 Crawl-delay 整行删掉,别留着当心理安慰。然后去站长后台看抓取频次和压力反馈,有红字先治服务器:TTFB 超过八百毫秒,蜘蛛自己就会降速。再把不该拦的放行,css、js、图片这些静态资源单独写一条允许规则,别让它们跟正文抢额度。正文页的最后修改时间和 sitemap 保持同步,它才知道哪几篇是新的。
几个容易踩的点
改完 robots 不会立刻生效,一般要等一个抓取周期,短的三天长的两三周,别一天改三遍。指令后面的数值单位是秒,有人写成 0.5 想折中,部分蜘蛛直接不认,等于白写。还有老站换了 CDN 或者对象存储,根目录那份 robots 可能被缓存住,改完记得清一遍。
说句实在话,蜘蛛池做得再热闹,目标站自己把抓取额度掐死,谁也救不了。那行数字看着无害,按住的是收录节奏。

评论列表