上个月有个池子里的站让我挺头疼:抓取日志里天天有蜘蛛,一天两百来次,可内页几乎不动,抓的全是首页和分类页。后来把链接层级从四层压到两层,内页抓取一周内翻了一倍多。
只抓首页是什么信号
蜘蛛进来先看首页,顺着链接往下走。如果从首页到一篇文章要点四五个链接才能到,它在预算用完之前就走不到那儿。抓取日志里首页占比高、内页占比低,基本就是这个毛病,跟权重没太大关系。

我先数了一遍深度
拿那个站的三百篇文章跑了一遍爬虫模拟,发现平均点击深度是 3.8 层:首页、栏目、子栏目、列表页、正文。最深的要 6 次点击才到。而它首页上能直接点到的正文页只有 12 篇,剩下两百多篇全藏在分页的第三页以后。
第一个改法是砍栏目
原来六个一级栏目里有三个是重复的,内容重合度七成以上。合并成三个,一年内没更新的两个子栏目直接并到父级,层级立刻少一层。改完之后点击深度从 3.8 降到 2.9。
第二个改法是把新文抬到首页
首页侧栏加了个最新更新模块,一次挂 20 条正文链接。分类页第一页从 10 条改成 30 条,文章超过 30 篇才分页。这招最直接,新发的文章当天就能从首页点到。
第三个改法是正文互链
每篇文末固定加三条相关文章,优先指向同一栏目里收录差的。一百篇文算下来多出三百条入口,等于给那些没人管的页面开了后门。这块我在长尾词分层里提过类似思路。
改完四周的数据
内页抓取从每天四十来次涨到一百一十次,首页占比从六成降到三成五。收录从两百一十涨到三百六十八,没有出现抓取总量暴涨但收录不动的情况。
怎么自查层级
不用专业工具也能查。从首页随机点十篇文章,记下各要点几次才进正文;超过三次的单独列出来,优先补内部入口。我固定每月查一次,免得改版之后层级又悄悄变深。
层级这事别过头
压到两层不代表把所有页都摊在首页,那样首页链接太多也会稀释。我的做法是首页保证二十到三十个正文入口,剩下的靠栏目页和文末互链兜。层级是通道,不是堆数量。相关判断可以看看服务器响应那篇,瓶颈可能根本不在链接上。

评论列表