十月那阵子,池里有六个站的收录量一夜之间从每天两百多条归零,后台更新照做,robots 也检查过没毛病,折腾一圈才在日志里看到 handshake failed——SSL 证书过期了,蜘蛛连握手都没握上。

抓取为什么死在第一秒
HTTPS 站点,爬虫过来先要 TLS 握手,证书过期、域名不匹配或者中间证书缺失,握手直接断。这一步失败,后面返回什么都谈不上,日志里连 404 都看不到,只有一堆连接中断。
六个站,三天,全是同一家证书商
我是周一早上看见的,还在想是不是robots 又写错了。拉日志一比,六个站证书状态都是 expired,到期时间统一在上周五凌晨。用的是同一家免费证书,自动续签一直没跑起来,报错邮件被丢进了垃圾箱。
tls 握手这一步在查什么
客户端发起 ClientHello,服务器回 ServerHello 加证书,然后校验签发机构、有效期和域名是否对得上。三道都过了才算可信连接。任何一道不过,严格的客户端直接拒绝,不会先给个内容再看看。
这次亏在哪
证书挂了三天我没察觉,损失的不只是三天的收录量。几个新上线的站本来正好在爬虫熟悉期,连接一断,之前攒的抓取节奏全打乱,重新排队又等了十来天。比起每月几十块的付费证书,这几周的恢复成本高得多。
补救的三步和恢复曲线
1. 当天下午把六个站换成 90 天有效期的证书,续签脚本挂到 cron,日志写进单独文件。2. 在服务器上用 openssl 手动连一次,确认链完整、到期日对。3. 换完之后到后台手动提交一轮 URL。抓取量第二天回到四成,第五天恢复原水平,收录补回来花了将近两周。
我后来加的日常检查
一条脚本每天扫一遍池里所有域名,证书剩余天数小于 15 天就告警;另一条查链上中间证书是否被漏发,有些服务器只装站点证书,浏览器能补链,爬虫不一定。这两件事加起来五分钟,比我这次折腾三天划算多了。
说两个容易看错的坑
一是 CDN 开了 HTTPS 却把回源放成 HTTP,证书报错只在前端出现,服务器日志干净得像没事;二是证书换了但 DNS 还指向旧 IP,这跟解析耗时排查思路不一样,得两头核对。

评论列表