三月份我在一个蜘蛛池里干了件蠢事:为了挡一个正在改版的目录,往 robots 文件里加了一行 Disallow 斜杠,改完忘了删。接下来九十天,二十个站的抓取记录几乎是空的。
抓取从 143 掉到 0,我一开始怪服务器
头一周翻了三遍机房工单:IP 没换、5xx 一条没有、带宽也富余。拉出访问日志才看到,百度蜘蛛从每天 143 次降到 11 次,最后只剩一条——每天取一次 robots,页面一个都不进。

排查顺序:先排假蜘蛛、死链、sitemap,最后才轮到 robots
我先对了 UA 和 IP,确认没人冒充;又清了四十多个 404;sitemap 也重提过两遍。常规项全排掉,最后才 curl 自己的 robots,第一行就是 Disallow 全站。
一行规则的杀伤力有多硬
很多人以为 robots 只是建议。对正常蜘蛛它是硬规矩:写了不准抓,就真的一次不来。更麻烦的是已进索引的页面,抓不到内容校验,会一篇篇消失。这九十天索引量从 1240 掉到 890,不快,但一直在掉。
我现在用的版本只有六行
User-agent 星号,Allow 全站,Disallow 只留搜索页和带问号的参数页,末尾一行 sitemap。要临时挡目录,我用 503 或加 noindex,不再碰这根弦。
恢复过程比想象中慢
改回正确版本后第一天只来 3 次,第四天 21 次,第十四天 78 次,第二十八天才回到 141。索引回升更慢,第三周才过 1000。别指望删掉那行就立刻恢复,蜘蛛有自己的回访节奏。
还有一个容易踩的坑:robots 和 noindex 打架
被 Disallow 的页面,蜘蛛看不到里面的 noindex,等于白写。想彻底不收录就放开抓取只留 noindex,想省抓取预算才用 Disallow。两个一起上,只会卡在已收录但抓不到的状态。sitemap 我在sitemap 三个常见错误里写过,思路是通的,底层原理可以翻蜘蛛池原理三件事。
现在我每月固定做一件事
用一条命令把二十个站的 robots 和 sitemap 各 curl 一遍,只看状态码和首行,两分钟。比出事后再等四周恢复,划算太多。

评论列表