上个月给一个二十多个站的蜘蛛池做体检,扒了七天访问日志,UA 标着 Baiduspider 的请求 3.8 万条,拿 IP 做反向解析,对得上的只有九千出头,剩下七成是套了名字的采集器和扫描器。
一、假蜘蛛不占额度,坏在把收录判断带偏
日志一糊,最先错的就是收录判断。看 Baiduspider 一天来八百次,以为池子很受待见,真抓的不到三成。那自然就以为是内容不行,主题换一轮、模板重做一套,钱全花在错的方向上。
二、伪造 UA 的都是些什么请求
我抽查了 300 条:采集器最多,整站文章几十秒拖走做镜像;其次是漏洞扫描,试探 wp-login、xmlrpc 这些口子;还有同行蜘蛛池在爬,找能挂链接的地方。改 UA 就为了不被一眼拦掉。
三、三步验证,十分钟能出结果
先按 IP 聚合。awk 筛出带 spider 字样的行,uniq -c 排序,取前 20 个高频 IP,单个 IP 一天来五百次以上的先怀疑。再对这几个 IP 反向解析,主机名要落在 crawl.baidu.com、crawl-*.googlebot.com 这类域里。最后正向再解析一遍,域名指回来还是同一个 IP,才算真。
截图这个例子很直观:nslookup 报找不到对应域名的,名字再像也是假的;能解析到 baiduspider-xxx.crawl.baidu.com 的,才敢当真放进来。
四、验证完做两件事
真 IP 段列进白名单,WAF 只对假蜘蛛限速,别把真爬虫一起误伤。这是第一件。第二件,假蜘蛛占比高的站先别加池,抓取数据都不干净,加了也只是把预算摊薄。
五、两个别做的动作
别按 UA 关键词封 IP,真蜘蛛的 UA 也会变,封一次能安静半个月,收录跟着掉。别把带蜘蛛 UA 的请求都算进抓取覆盖率,那份报表好看,决策全是错的。
顺带一句,日志干净了再看出口 IP 才有意义。前阵子那篇讲抓取四万次只加十一篇的,就是先排掉假蜘蛛,才看出 C 段挤在一起:蜘蛛池出口IP挤在一个C段。七成假的不可怕,拿假数据做真决策才可怕。

评论列表