有个池里的站,十月日志里被抓了 312 次,状态码清一色 200,我在搜索框敲 site: 却一条结果都没有。权重不行?新页也这样。折腾两天,最后发现是 head 里一行 meta 把 noindex 挂上了——蜘蛛天天来,来了也不收。这种抓了不收的状态最迷惑人,日志漂亮,排名零。

noindex 多半是自己挂上去的
蜘蛛池只负责把蜘蛛引过来,收不收由页面自己说了算。noindex 一挂,抓取日志照样有记录,索引库里永远空着。这是我第五次踩,前四次分别来自主题设置、插件默认值、测试环境开关忘了关,还有一次伪静态把参数带进了模板。那回的教训跟robots 误配那轮是同一种:不是进不来,是被自己拦在门外。
三个地方最容易被忽略
第一,主题的单页模板里带 noindex 判断,只在移动端生效,PC 打开看源码干干净净。第二,SEO 插件把文章类型的默认索引开关设成了否,新发的每一篇都继承这个值。第三,测试站整站 noindex 没摘就解析了正式域名,从那一刻起全站在拒绝索引。
一条命令确认它到底在不在
curl 抓一次正文,grep -i noindex,再看响应头有没有 X-Robots-Tag。两处都查,缺一个就漏。我这站正文里没有,响应头里有,查源码白忙半天。顺手把快照时间一起看,快照停在半年前,基本能断定它一直没进过库。
清掉之后第十一天
二十个站的池先改五个。第三天抓取频次没变,第七天索引开始动,第十一天五个站合计从 0 到 137 条。剩下十五个站同步清完,两周合计 400 多条。抓取量一直在,说明蜘蛛没白来,只是被那行标签挡着。改完第二周我抽查十个内页的响应头,全部干净。
有些 noindex 该留着
标签页、站内搜索结果页、带参数的筛选链接,这些该挡还得挡,不然重复内容一堆。要挡的是它们,不是文章。判断标准就一句:你希望有人从搜索结果里点进这个页面吗?希望,就别挂。
现在新站上线,我第一件事是抓首页和一篇内页看 noindex,跟DNS 那套自检一起过。三分钟的活,比等一个月再猜原因划算。

评论列表