上周翻一个站群的日志,三千多条蜘蛛请求里七百多条是连接失败,状态码那栏空着,只留一行握手超时。同一批域名本地 curl 拉全是 200。查了大半天,问题出在解析上:当初批量加 DNS 时模板带了一条 AAAA,指向的地址服务器压根没监听。
AAAA 记录是什么,蜘蛛为啥先走 IPv6
域名解析除了常见的 A 记录(IPv4),还有 AAAA 记录(IPv6)。现在百度和谷歌的蜘蛛都是双栈客户端,解析出 IPv6 会先试,连几秒不通才回落 IPv4,正好卡在超时线上。
失败不写在状态码里,最难查
连接层就断,页面日志里看不到 404、500,站长平台只给一条抓取量下降的曲线。多数人一看到量掉,先去改 robots、加主动推送,方向全错。我最早也当成额度被限,白折腾两天。
三步确认是不是解析的锅
命令行查:dig AAAA 你的域名 +short,有输出就说明配了 IPv6。再 curl -6 -I https://你的域名,几秒超时就是没通。最后翻日志,蜘蛛源地址是一长串冒号分隔的写法,后面跟连接失败,基本坐实。
那批四十多个域名挨个过,二十六个有 AAAA,真通的只有三个,其余全是空壳——批量建站套模板最容易继承这种垃圾记录。
处置:删记录,还是补 IPv6
服务器没上 IPv6 的,把 AAAA 删干净,TTL 三千六百秒,等一小时再 dig 确认没残留。真上了 IPv6 的,别只看解析,防火墙和安全组要放行 80 和 443,我见过解析通、端口挡在外面,症状一模一样。
别只删主域名,www 和 m 这些子域一条条过,批量建站漏的就是子域,主域改完手机端还在走旧记录。
四个容易踩的点
删完别急着提交,DNS 缓存没到期蜘蛛还会按旧地址跑一两天。CDN 也得看,回源只支持 IPv4 的话,边缘给的是 IPv6 节点,回源照样卡。改前先把每个域名解析导成文本存好,我见过手抖连 A 记录一起清掉,全站当场打不开。也别以为改完立刻恢复,抓取调度有节奏。
修完二十天的账
第二十一天统计:连接失败从七百多降到四十以内,日均抓取从八百涨到一千三,新稿平均四天进索引,之前要十一天。收录总量没暴涨,起量却明显快了。看这类数之前先把口径对齐,抓取统计里图片请求常被算进去,虚高一截,这个我单独写过(抓取统计口径)。

评论列表