上个月有天早上我打开监控报表,看见昨天的蜘蛛抓取从 210 次跳到 480 次,心里还乐了一下,以为池子终于起效。这个数字撑了两天我就开始怀疑,花两天翻日志,最后查出三个原因,只有一个是真好事。
第一个原因:池子确实加了量
那周我把池内站点从 40 个换到 60 个,还加了一个抓取更勤的站。日志里 Baiduspider 的 IP 段全是国内常见的几个机房段,访问路径从入口页到内页再到标签页,分布正常。这部分约占新增量的一半,是真增频。我又把这 60 个站的首页抓取记录单独拉出来,能一一对上号。

第二个原因:冒充蜘蛛的扫描器
翻到一批请求,UA 写着 Googlebot,IP 却是境外小机房,还集中在凌晨两点到五点扫后台路径,比如 wp-login 和 admin。这类是扫描器套了个爬虫外壳,跟搜索引擎没关系。用官方 IP 段一对,四十多条全是假的,占了新增量的三成。封掉之后第二天再看,这类请求基本归零。
第三个原因:自己也贡献了重复抓取
那几天我上了一个筛选页,参数组合生出两百多个不同 URL,指向的都是同一批内容。蜘蛛顺着分页一路抓,一次访问记录五六个地址。这不是坏事,但对服务器压力实打实,带宽账单比上月多了六十块。光是这批参数页,就吃掉三分之一的抓取配额。
怎么两天分清这三类
我的办法很土:把日志按 UA 分组,统计各组的 IP 段数量;把 IP 拿去官方段比对;再统计被访问 URL 的类型占比。三步做完,真假和来源就分开了。工具报表里的真假蜘蛛标记也能用,但不能全信,IP 库更新慢。整个过程两个晚上就做完了,Excel 里三张表足够用。
真正的结论
抓取翻倍不等于收录变好。那两周收录只多了 4 篇,跟我换池子之前的节奏差不多。如果只看抓取总数就加预算,很容易被数字骗。
该做什么、不该做什么
假蜘蛛直接封 IP 段,别客气;参数页加 canonical 或者干脆关掉;池子该不该续费,看收录和点击,不看抓取。服务器负载上去了先查这三处,别急着升级配置。

评论列表