去年四月我碰到个怪事:池子后台显示抓取次数稳定在两百上下,怎么加站都上不去。折腾两周才想明白,问题不在池子,在我那台两核四G的小机器。
抓取份额这个概念
搜索引擎给每个站的抓取次数有上限,业内叫抓取份额。份额怎么给?服务器响应快、页面体积小,蜘蛛能在同样时间里爬更多页,它自然愿意多来。这跟老站观察里抓取曲线那段的逻辑一致,只是我当时没往服务器上想。

为什么首字节这么重要
蜘蛛一个连接等一秒八,池子给它的时间预算就被吃掉大半。同样十分钟,响应快的站能爬四五十页,慢的只爬十来页。这不是池子偏心,是它算得过账。
我是怎么查出来的
二十个站全挤在一台机器上,共用同一个数据库。随便抽五个页面测首字节,都在一点八秒上下,最慢的一个二点六秒。我写了个定时脚本每十分钟采一次,连续三天都是这个水平,基本可以定性。测的时候我特意避开晚上八点到十点,那时带宽最紧张,数字会失真。
两步动手
先把二十个站拆到两台机器,每台十个,多花一百二十块一个月。再给每个站开页面缓存,图片统一压到两百K以内。同样五个页面复测,首字节降到零点四秒,最慢的零点七。
数字的变化
改完第一周抓取到两百九,第二周三百八,第五周稳定在四百七十。收录跟着走,五周从三十一篇到六十八篇。这中间我没换池子、没加预算,只动了服务器。拆机那一步最费力,收益也最直接。
容易忽略的两件事
一是数据库查询,模板里一个循环查一次库的写法很常见,二十个站共用一个库,慢查询会互相拖。二是后台定时任务,我有个站每五分钟跑一次全站生成,那几分钟抓取几乎为零。这两处我在抓取翻倍排查里也提到过反过来的现象。
别急着怪池子
抓取上不去的时候,先按这个顺序查:服务器首字节、页面体积、有没有 5xx、robots 有没有误拦、最后才看池子的配置。前四项都是你自己能控的,占了问题来源的大半。池子只是把蜘蛛引过来,引过来了接不住,怪不了它。
最后说一句
服务器响应这东西平时看不出来,一到抓取量要往上冲的时候就露馅。把首字节压到一秒以内,比换一个更贵的池子划算太多。

评论列表