前两天一个跑在海外的蜘蛛池跟我说,晚上两点到四点蜘蛛全停了。我拉日志看,那三小时的确一条 Baiduspider 都没有。可同一段时间,北京时间是上午十点到十二点——正好是抓取高峰。差整八个小时,判断整个反了。
日志里那个时间是 UTC,不是北京时间
池子架在海外 VPS,系统默认时区 UTC,PHP 的 date() 跟着系统走,写进日志的是 02:11,不是 10:11。看着只是显示不同,其实所有按小时、按天做的判断全错位了,越算越歪。
三步把时间校准回来
先 date -u 和 date 各敲一次,看两者差多少;系统层面 timedatectl set-timezone Asia/Shanghai,Web 层面在 php.ini 里把 date.timezone 改成 Asia/Shanghai 再重启;最后给日志采集加一列本地时间,别只留原始时间戳。改完发一篇测试文,拿新记录和手机时间对一遍,差值为零才算过。
上面这张图把三层摆得很清楚:宿主机 UTC、容器时区、日志时间戳,任何一层没对齐,最后落盘的时间就是歪的。
错位之后,哪几个数会跟着错
抓取高峰时段、秒收验证的 24 小时窗口、发布到首次被抓的间隔、被 K 之后的时间线,全按错位的小时在算。我手上有个站,三月按歪日志判成「蜘蛛凌晨最活跃」,把发布时间挪到凌晨三点,两周下来新文收录反而更慢,因为真高峰在上午九点到十一点。
校准前后的实际对比
校准前那周,按小时统计的抓取分布图基本是反的;校准后 Baiduspider 集中在 9 点到 11 点、14 点到 16 点,跟正常站点一个节奏。同一条日志,换个时区读,结论从「蜘蛛不来」变成「来得挺勤」,中间只改了一个配置项。
顺带提醒一句
时区改了,日志里老数据不会自动跟着变,回看历史时段要手工减八小时,或者干脆只拿校准之后的数据做判断。别拿两套时间混着比,那比不校准还糟。查蜘蛛真假的思路,可以对着查蜘蛛出口 IP 那篇一起看。
这事不花钱,改一行配置就完事。麻烦的是发现得晚——前面几个月按错时间做的结论,得全部推翻重算一遍。

评论列表