池子里有批站一直收不进去,我盯了半个月的日志,最后发现问题不在权重也不在更新频率,在页面本身太胖——蜘蛛来了,状态码 200,可它压根没读到正文那一段。

一条 200 却没读完的记录
九个站用的是同一套老模板,首页 HTML 打开一看 380 到 450KB,正文第一段从 320KB 之后才开始。日志里这些站的响应时间正常,200 也正常,但抓取之后跟进的页面数是零,第二天照旧只抓首页。
体积大了,谁在吃亏
爬虫读页面跟人拿浏览器读不一样,它有个解析预算,太大或者正文埋太深的页面,很容易被当成空壳页丢掉。再加上域名解析和服务器响应都不慢,反倒让我一直没往这上面想。
我动了四刀
1. 把模板里那坨内联 CSS 和脚本抽成外部文件,首页 HTML 直接少了 210KB。2. 删掉两个自动生成的 JSON 数据块,那些东西抓虫根本不看。3. 列表页从一页 30 条压到 12 条,翻页链接补上。4. 首屏图片全部换成固定尺寸占位,正文往上提到 18KB 位置。
体积大还有个连带效果
页面胖往往跟着首屏慢。我拿这九个站测了一次 TTFB,白天 420 毫秒上下,比池里其他站高出近一倍。爬虫排队等着,超时就放弃,抓取份额自然往下掉。所以体积这件事,一头连着解析,一头连着等待。
九个站和二十一个站
改完的前两周没什么动静,第三周开始这九个站的抓取量从每天 40 多次涨到 90 上下,被我盯着的那批新文章,二十天里有 27 篇进了索引。同期没动的二十一个站,抓取量还在 35 左右,新文章只进了 6 篇。
别只删不留
有站长图省事,直接把正文前的大段 DOM 砍了,结果正文跟着断,页面变残,那是另一种死法。削体积的前提是正文完整、结构没散,砍的应该是样式和无关数据,不是内容。
还有两个顺手的检查
一是 gzip 到底开没开,有的站 HTML 400KB、传过去其实 70KB,这种不用大改;二是确认正文不是靠 JS 渲染出来的,抓虫只拿源码,渲染后的内容它未必看得见。这两条排掉,再谈压缩。

评论列表