去年接手一批老站,百度收录一直上不去,问谁都说内容不行。我用站长平台的抓取诊断把首页和栏目页挨个测,四十多个站点攒了四十七条异常,逐条修完,抓取成功率从六成提到九成八。
工具在哪
登录后在搜索资源平台的抓取诊断里填 URL,选百度蜘蛛的 UA,几秒钟出结果。它会把 DNS、连接、返回码、抓取耗时、页面大小一次列全,比自己在服务器上猜快得多,也不用装任何插件。
四类异常占了大头
DNS 解析失败九条,多是域名过期或 NS 没生效;403 二十一条,全是被服务器防火墙拦了;robots 屏蔽十一条,规则写太宽,把自己首页都挡了;超时六条,机房线路问题。
403 那批最费时间
防火墙默认把非浏览器 UA 当攻击,百度蜘蛛直接被挡在门外。我把百度官方公布的 IP 段加进白名单,UA 一起放行,再把规则改成只拦异常访问频率,二十一条全部转正。这里提醒一句,只放行官方公布的那几段,别图省事全放开,安全上是两回事。
修复顺序有讲究
先修 DNS 和 403,这两类影响最大,属于门都进不来;再改 robots,把 Disallow 收窄到具体目录;超时的换机房或加带宽。改完隔三天复测,四十七条只剩三条,都是源站本身响应慢,属于服务器配置问题。
复测别只看通过
抓取诊断通过只能说明能抓,不代表会收。还要看页面质量和入口深度。入口层级这事我在新站收录里写过,可以对着排查。另外返回码正常但内容是空白页,诊断是看不出来的,得自己打开看。
怎么确定是防火墙
拿服务器本地 curl 测同一个地址是通的,换站长工具测就 403,基本能锁定是防火墙或 CDN 拦 UA。我一开始怀疑程序有 bug,绕了两天才想到这层。
诊断还能查什么
除了首页,我会顺手测三个内页和一个小分类页,看返回码是否一致。有的站首页正常,内页全 403,只测首页就会漏。
复测周期
我定在三天复测一次,太短看不出变化,太长又要重来一遍排查。复测前记得清 CDN 缓存,缓存会骗人,明明修好了还显示旧结果。
返回码之外,页面大小低于两 KB 也要留意,多半是空白页。这种情况诊断报通过,收录却一直不动。

评论列表