有件事我拖了半年没当回事:蜘蛛池里二十来个新站,文章收录总比别人慢,平均十来天。抓取日志翻烂了也没找出毛病,蜘蛛天天来,来的还都是首页。直到我把一个站的截图拉到只剩导航,才看见问题——从首页点进去,要经过目录、分类、子分类、列表,四层才摸到正文。
一、先看一组不太好看的数字
我抽了八个站,统计三十天内蜘蛛的访问落点。首页占六成七,目录页两成一,分类页一成,真正摸到文章的不到百分之三。同一批站里另外有个改动过结构的,文章页访问占比接近三成,收录平均四天。两边内容量差不多,都一百来篇,差的就是中间隔了几层。
二、层级怎么把收录速度拖慢的
蜘蛛的抓取是有预算的,它从入口往下走,每跳一层就要多花一次请求。四层结构意味着一篇新文章想被看到,得先过首页、目录、分类、列表四道关。而目录页和分类页常年是静态的,没什么变化,蜘蛛爬过去等于白跑。真正有新内容的地方,反倒在最深处。这跟抓取路径那篇里说的一样,路径不通,权重就传不下来。
三、我做的四件事,花了两个晚上
第一件,把四层压成三层,目录页直接干掉,分类挂在导航第一级。第二件,每个分类页顶部固定一个最新文章区块,让新内容在第一跳就能露头,不用等蜘蛛走到列表底。第三件,文章页补上面包屑,首页、分类、文章标题三级可点,顺手给面包屑加结构化标记。第四件,把列表页的翻页链接改成可点的上一页下一页,别用脚本加载。
四、改完一周的收录对比
八个站改完第七天,新文章收录平均从十一天降到五天,其中三个站当天就进。抓取日志里文章页的访问占比从百分之三涨到二成二,首页占比掉到五成以下。抓取总量没涨多少,一天四百多次变成四百五十次左右,多出来那点全花在了正文上。这说明不是额度不够,是额度花在了不产内容的中转页。
五、两个细节,还有一处容易踩的风险
面包屑的链接别写成空壳,中间那级点进去必须是真分类页,不然蜘蛛顺着走会撞一堆软 404。另外面包屑的文字要跟分类名一致,别为了塞词写成长句,看着就假。风险在导航改动本身:老站改结构,旧地址要先做好 301,别一刀切掉,我第一批三个站没做跳转,原本收录的两百多条掉了四十条,补了跳转才慢慢回来。新站没这包袱,趁早改,越晚越贵。

评论列表