上个月谈续费,对方发来一张后台截图:日均抓取两万一千次,比上季度涨了三成。我没急着签,让技术把自己站同一天的日志导出来,按 UA 过滤之后真实页面抓取是两千一百次。差着十倍。不是我抠字眼,报表上的数字没问清口径,钱容易白花。
一、那两万次里到底装了什么
后来我让对方把明细发来,拆开看就明白了。第一类是图片和静态资源,一张缩略图一个请求,一篇文章配三张图,抓一次页面顺带记四条。第二类是同一 IP 没去重,有个采集器一分钟请求四十次,四十次全进总数。第三类更省事,304 和 404 也算,蜘蛛吃个闭门羹都记一次。
二、口径宽一点,面板就好看一点
这事怪服务商也不全对。面板上写的是「抓取请求总数」,合同里没规定必须是页面抓取,他按字面算并不违约。问题在于双方默认了同一个词:你以为说的是蜘蛛读了几篇文章,他算的是机器跑了几次请求。谈的时候谁都不提口径,验收的时候就容易吵。
三、一句话把口径问死
我后来固定问三句:这个数是不是只算 HTML 页面、同一 IP 一天内去不去重、百度官方 IP 段占多少。三句话问完,回答通常就变了,从「两万多」变成「页面级三千」。数字缩水不丢人,遮着才丢人。
四、验收该盯的三个数
抓取次数只是过程,我真正看的是收录增量:同一批文章进池前后各三十天,site 查询涨了多少条。第二个是单页抓取,随机挑五篇文章,看蜘蛛有没有隔几天回来复查,只来一次的多半是路过。第三个是 IP 段,把日志里的百度 IP 跟官方列表比一遍,对不上的一律不算。这三个数对得上,抓取报多少我都不太在意。
五、我自己踩过的两个坑
第一次合作我拿面板截图当凭据,对方按月发图、我按月打款,半年后收录没动,才发现截的是另一台机器。第二个坑是把「总请求」当成「抓取页面」,这两个数在报表里经常就挨着,销售也习惯混着说,一句「今天两万」听着挺唬人。
六、换成按收录结算之后
上季度换了一家按收录增量结算的池子,面板数字从两万三掉到两千六,看着难看多了。可同一批站,收录从 320 条涨到 890 条,百度蜘蛛的页面抓取从每天两千一涨到四千八。数字小了,活干了,这账才算清楚。现在我再看到那种动辄五万十万的面板,第一反应不是心动,是想问一句:这里面有多少是图片。

评论列表