上周我把蜘蛛池某个站的首页源码拉下来数了一遍,a 标签一百三十二条。导航、面包屑、侧边栏、页脚、标签云,全在那儿。真正指向正文的内链只占六条,剩下的都在给老页面和栏目页投票。蜘蛛天天来,收录却一直不温不火,问题就出在这里。
一页挂一百多条链接,蜘蛛看到的是什么
蜘蛛不是一个一个点,它按页面给的链接分配注意力。出链越多,每条分到的关注就越薄,这是抓取预算最朴素的算法。我的站更麻烦:页脚标签云四十多个、归档月份二十个、最新评论十条、随机文章十条,这些模块全站重复。等于每抓一页,都在重复看同一批 URL,新发的正文夹在中间,很容易被当成次要入口跳过,我八月底那批十篇新文就是这么被拖到第三周才进索引的。
我按顺序砍掉的四块
先动页脚,标签云整块删掉,归档月份只留最近六个月,友情链接从滚动十条缩到四条。然后侧边栏,最新评论和随机文章直接关,热门文章从十条降到三条。接着首页置顶从八条砍到三条。最后把正文里的内链从两三条补到四五条,指向同主题的老文。顺序有讲究:先砍重复模块,再补正文内链,不然砍完页面反而更寡淡。
两周后的数字
改造前后各两周对比同一批十二篇新文:每页出链从一百三十二掉到二十八,正文页被蜘蛛抓的比例从百分之十一升到三十四,新文进索引平均五天,改之前要十二天。抓取总次数其实没怎么变,一天还是六七十次,只是命中的页面换了。
怎么自查,用两行命令就够
不用装什么工具。把页面抓下来,数 a 标签总数,再数其中指向文章页的有几条,比例低于三成基本就是模块堆太多。顺手看看首页、分类页、正文页三处的出链是不是几乎一样,一样就说明那些是全站模板,重复投票跑不掉。
几个别做过头的地方
导航和面包屑不能砍,那是蜘蛛认路的骨架;分类入口至少留一层,全砍成单页等于自断入口。出链少也不等于内链少,正文里该给的相关链接要给,只是别再让页脚替你堆。还有首页置顶,位置贵,留给当期最想推的页,别当公告墙用。
顺带提一句,上一轮写的RSS 全文输出抢抓取那篇是同一件事的另一面:入口又多又杂,蜘蛛的注意力就被摊薄,正文页永远排在后面。

评论列表