前阵子翻一个蜘蛛池站的日志,有一条文章页从请求到返回 200 花了 3.2 秒。我一度以为是服务器慢,翻到那一秒的完整记录才发现,同一秒里只有一条蜘蛛请求在跑。它在等,不是它慢。蜘蛛池加速收录这事,很多时候卡的不是内容,是协议。
一页六十多个请求,1.1 只能一条条排队
我这套站群模板一篇文章页连 CSS、JS、字体、十几张缩略图算下来 63 个请求。HTTP/1.1 下同一连接里的请求是串行的,前一个没回来,后一个就得在队列里蹲着,这叫队头阻塞。浏览器会给同一域名开六条连接来缓解,可蜘蛛不是浏览器,它更保守。结果就是蜘蛛抓到页面,正文拿到了,图和小文件还在排队,抓取窗口一到它就走了。
怎么确认它真在排队
不用装什么工具,按秒切日志就行。把当天的 access log 按时间戳的前 19 位归类,数每秒有几条来自同一蜘蛛 UA 的记录。我那三个站都在 1 到 2 条之间徘徊,等于一条连接在硬扛。再看单条 URL 的耗时,中位数 1.6 秒,最长 8 秒多,全是排队堆出来的。这种日志读法我早前在抓取预算那篇里写过,同一个思路。
开 HTTP/2 之后,同一分钟的数据变了
三个站先后开了 h2,都是 Nginx 加 ALPN,一个下午就能弄完。一周后对比同一时段的日志:每分钟同蜘蛛请求条数从 18 条涨到 41 条,返回 200 的完成率从 72% 提到 94%,单页从请求到收尾的平均耗时 3.2 秒掉到 1.1 秒。不过说句实话,三周后看收录量只涨了 6%。协议解决的是抓取效率,不是内容质量,这点别指望错。
两个前提,不满足等于白开
一个是必须走 HTTPS。h2 在主流实现里只跑在 TLS 上,站还是 http 就开不了。另一个是 CDN 回源也得支持,我之前有个站源站开了 h2,前面套的免费 CDN 只谈 1.1,蜘蛛看到的一直是旧协议,白忙。查的办法简单,curl 加 --http2 看返回的协议版本,别只看自己在服务器上改没改。
别把它当成收录开关
踩过一个坑:有台机器开了 h2,但证书链缺中间证书,桌面浏览器能过,蜘蛛直接回落 1.1,日志里全是 1.1 的握手记录。还有 h2 是单连接多流,丢包时反而更容易互相拖累,线路差的机房不一定比 1.1 稳。协议是效率工具,内容稀、内链乱、模板同质化,开十层协议也没用。

评论列表