池子里十个站,上个月收录一直卡着不动。查完日志才发现,蜘蛛每天来的次数不少,可有四分之一撞在软404上——页面正常返回200,点进去却是一片空壳。

什么叫软404,它比真404烦在哪
真404至少是个明确信号,蜘蛛看一眼就走了。软404是另一种东西:状态码200,页面能打开,可正文区是空的,只剩模板和一句没找到内容。蜘蛛把它当成正常页,隔几天又来一次,权重就这么被消耗掉。
日志里三行命令就能看出来
我按状态码分组,再把正文长度小于 800 字节的 200 响应挑出来。某站三十天 24000 次请求,6100 次是这种空壳,占了两成半,七成集中在筛选参数页和已下架文章。这些 URL 在站点地图里一条没有,蜘蛛全靠内链自己爬。
被吃掉的是抓取次数,不是排名
十天里我盯了五个词,排名基本没动,但新页进库从两天拖到五天。行内说的抓取预算被摊薄,落到账上就是蜘蛛跑十趟,只见到两个有内容的页面。
源头大多在模板
池子的站共用一套主题,分类页没文章时照样渲染200,只有一行没有内容;文章下架我原来只删数据库记录,链接还在,前端回一个空列表;筛选参数页更省事,没结果也输出200。三处堆在一个站上,等于给蜘蛛挖了三个空坑。
改法不复杂,但得改对
空结果的列表页直接返404,比返200再挂 noindex 干净,这点跟之前那轮 meta 写法不一样,能用状态码就别用注释。下架文章返410并保留三十天,让蜘蛛确认删除。筛选参数页加 canonical,robots 里封掉参数,站点地图本来就不该收。
四周之后的数字
空壳请求占比从 25% 掉到 3%,文章页的抓取从 4200 次涨到 6800 次,收录从 96 条到 158 条。池子里十个站都改了模板,效果最明显的反而是两个新站,第二周就开始进库了。
别急着一次性改完
把有内容的页面误判成404,掉收录比软404还快。我先拿三十个 URL 抽样比对,确认正文都在才推全站。改完盯一周抓取额度的分配有没有回正,没变说明问题不在这一层。

评论列表