同样十二个站,同一天,百度来了三千八百多次,谷歌只来一千二百次。我一开始以为是自己哪里没做好,后来把日志按蜘蛛身份拆开一算,才发现这两家压根不是一个脾气,拿一套配置去对付它们,两头都喂不饱。
统计前先干一件事:按 UA 分开数
统计前先做一件事——核 IP 段。日志里标着百度蜘蛛的请求,大概有两成是假的,爬的是采集器和一些刷流量的脚本。我按官方公布的 IP 段过了一遍,剩下的才是真数据。
两家的节奏差在哪
百度来得早,新链接发出去两三个小时内就能见记录,抓取高峰集中在凌晨一点到四点。谷歌相反,上午九点到十一点最勤快,但它对新链接反应慢,一个陌生 URL 往往要等三四天甚至一周。我测过同一篇稿子,百度侧隔天就进索引,谷歌那边第八天才来。
还有一点:谷歌会跑渲染队列,我站上带 JS 加载的列表页,它抓了三遍才把内容读全。百度对 JS 的耐心差一些,抓一遍没看到正文就走了。
配置我拆成了两份
百度这边靠主动推送,每天把新链接按接口推一遍,推完再看抓取有没有跟上。这套比等 sitemap 快得多,之前写过主动推送和 sitemap 的取舍,这次更确定——对新链接,推送的效率高一个量级。谷歌那边只能老老实实做内链和结构化数据,sitemap 按模板切片,越干净越好。
robots 里的 Crawl-delay,谷歌认,百度基本不当回事。我不再指望它限流,改成在服务端按 UA 做并发上限,超过就排队。
六周后的对照
拆开优化六周,百度侧新收录一百九十多条,谷歌侧六十多条。差距不是谷歌差,是它对陌生站的信任建立本来就慢。谷歌那边的老页更新倒是快,改一次标题三天内就重新抓。
踩过的两个坑
别为了讨好一家去屏蔽另一家。我曾经拿 UA 规则把谷歌的图片请求全挡了,三天后整个站抓取掉了四成,恢复花了两周。也别拿伪装 UA 的数据下判断,那些假的百度蜘蛛爬得比真蜘蛛还勤,一混进来偏得离谱。
蜘蛛池说到底是在跟这两家的算法打交道,它们各有各的时间表。你按自己的作息去优化,很容易只照顾到一家。把日志拆开看,分开喂,收录才慢慢两边都动起来。

评论列表