上周客户发来截图,说搜索结果里那篇的描述只有半句话,点进去明明是一整篇。我去翻这个蜘蛛池站群的日志,蜘蛛请求后面一长排 206,问题就在这:正文被切成段回给蜘蛛,收录进去只剩半截。
206 是什么,正文怎么被切了一半
206 是 HTTP 的 Partial Content,本来是给断点续传用的。客户端发个 Range 头说要第几到第几字节,服务器就只回这一段。蜘蛛抓 HTML 本不该走这条,可服务器、插件或 CDN 一旦当大文件处理,每次只回一段,看着像抓到了,其实是残页。
我第一反应是模板截了正文,查样式查权限折腾半天,才在日志里看到 206。
这回碰到的三种来路
一个下载插件开着分块下载,阈值写 1KB,连 HTML 都算进去。第二个是免费 CDN 开智能切片,超 20KB 的对象自动分段。第三个最隐蔽,nginx 里一段 range 缓存配置,把 Content-Range 总长度写成缓存块大小,蜘蛛对不上就丢。
三条命令,二十分钟定位
curl -I 文章页,看有没有 Accept-Ranges: bytes。再带 Range 头请求一小段,看返回 206 还是 200,206 里斜杠后面的总长是不是文件真实字节。最后 grep 日志里的 206,算占蜘蛛请求的比例,超一成就要处理。四十多个域名里只查出十一个,都是流量最大的那几个。
处置顺序别搞反
先关源头:插件关分块、CDN 关切片,HTML 一律整篇回 200。再刷 CDN 缓存,旧的分段响应不清掉,蜘蛛还会拿老样子。第三步回头看日志,确认 Content-Length 和文件字节数一致,这两个数不一致说明上层还有人在改包。做完别急,重新调度要两三天。
四个容易踩的坑
别图省事把整站 Accept-Ranges 关了,PDF 和安装包下载立刻坏,只对 html 和 xml 关。只刷首页不刷文章页,最常见的半吊子操作。Content-Length 写小了会真截断,有个站改完尾部少了三分之一。改完两三天没动静也别乱动。
二十天后的数据
206 占比从四成一降到零,十七篇残页重抓一遍,描述恢复完整,索引里那批摘要半句的二十天内掉了十六篇。收录总量只涨三十来条,点击率却不一样了。正文被截还有别的成因,样式藏字算一种(隐藏正文的坑),排查时一起过。

评论列表