去年有人让我看他的蜘蛛池,二十个站,每站五百多篇。后台按发布时间一排序,二十个站全是同一天同一个整点:上午 10:00。五百篇文章挤在十分钟里,看着就假。
他自己也懵,说内容是一篇篇写的,怎么时间全一样。查了才知道,入库插件统一写了当前时间,谁先谁后全抹平了。
三个地方会露馅
首页和 RSS 的时间线最直观。读者翻过去,一屏二十条全是 10:00,不用点开就知道是程序灌的。RSS 里的 pubDate、sitemap 里的 lastmod,也跟站内时间对得上,改一处不改另一处,反而更明显。
第三个是蜘蛛日志。正常更新的站,抓取时段跟着发布节奏走,早上多、深夜少。整点批量发的站,百度蜘蛛和谷歌蜘蛛的访问几乎全堆在同一个小时,前后一小时空着,这个形态比标题更能说明问题。我翻了自己站三天的日志,早上 9 点到 10 点抓到 210 次,凌晨 2 点到 5 点只有 9 次,落差大得离谱。
我怎么确认是时间戳的锅
抽了十个站做对照。五个按内容里的原始日期回填发布时间,每条间隔一小时以上;五个原样不动。六周后,改过的平均收录率 68%,没改的 41%。抓取频次也从每天四十来次涨到一百一十次左右,新发的那篇最快两小时就进了索引。
这不能证明全是时间戳的功劳,但那五个站同期只改了这一个东西,别的没动。
改的时候按这个顺序来
先从旧库或导出的 csv 里捞原始日期,有就用原始的,别自己编。实在没有,按正文里提到的活动时间、数据出处倒推,误差一两天没关系,别全塞同一天。排期上,一天别超过十五篇,时间摊到 8 点到 22 点之间,整点前后错开十几分钟。RSS 的 pubDate 写成带时区的 ISO 格式,sitemap 的 lastmod 跟着真实修改走。
两个常见误区
有人把发布时间改成未来日期想置顶,蜘蛛不吃这套,未来时间反而更可疑,有站因此被判成异常更新停了三周。还有人只改了前台显示,数据库的 create_time 一秒没动,日志里照样是同一批秒级时间戳,白忙。
说到底,蜘蛛池想被收录,靠的是站看起来一直在正常更新。排期和真实时间戳,比堆多少篇都管用。

评论列表