前几天客户让我查池子里三十个站的快照,一打开就愣了:收录都有,搜索结果也在,点进快照一看,日期全停在八月上旬,最新的也才九月初。三个月没动过,页面明明每周都在改。

快照到底是什么东西
它不是你的页面副本,是搜索引擎抓取那一刻留下来的文本备份。快照日期=它最后一次真正把页面读进去的时间。很多人把它和收录混为一谈,其实收录说的是这个地址在库里,快照说的是库里那份内容有多旧。
为什么收录在涨,快照不动
我扒了这三十个站的日志,找到三种情况。第一,抓取是有的,但蜘蛛只读头部,返回 304 就没继续读正文,快照当然不刷新。第二,页面套了很长的缓存,CDN 那头给的还是两天前的 HTML。第三,改动太小,标题没变、正文只换了两个标点,系统判断内容没必要更新索引。
我做了三件事,二十天里二十六个站快照更新了
1. 把 CDN 缓存规则从统一 12 小时改成 HTML 不缓存、静态资源照旧,这一步做完第二天就有九个站快照跳到当天。2. 每篇文章至少改一处实质内容——补一段实测数据或者换掉开头,不再只动标点。3. 在抓取深度实验里那套内链结构上,把快照最旧的页面从首页多挂了两个入口,让蜘蛛先摸到它。
改内容也分组比了比
十二个站按实质改动走,八个站只动标点。二十天后前者九个站快照刷新,后者只有两个,还有一个刷新后日期反而退回去了。百度说过这种倒退属正常,多个副本里挑了一份,但看着还是闹心。
还有一处容易忽略
服务器返回里那个 Last-Modified 要是常年不动,蜘蛛拿它跟你上次的记录一比,觉得没变化就不读正文。我把生成时间写进页面模板的头部,这件事成本几乎为零,但确实有用。
怎么判断是不是真出问题
别只看快照日期就慌。我一般同时看三样:索引量有没有掉、抓取频次有没有掉、目标词排名有没有掉。三样都稳,快照旧只是展示层的问题,属于慢性症状;要是抓取频次一起往下走,那就是另一回事了,得按抓取翻倍排查那套思路从服务器和 robots 往回查。
两个别干的事
有人为了让快照动,一天改八遍标题,结果快照是动了,排名却散了。也有人拿工具批量提交快照投诉,量一大直接被判异常。快照更新是抓取的结果,不是你能直接操作的对象。

评论列表