去年一批蜘蛛池站群换了套模板,三个月内新文收录一起掉。日志里蜘蛛天天来,可只抓首页和几篇老文章。把分类页源码拉下来才看明白,15 条链接全是 href=“#” 加 onclick,真地址塞在 data-url 里。人点得动,蜘蛛点不动。
JS 跳转在蜘蛛眼里等于没链接
搜索引擎抓页面,第一步是解析 HTML,把 a 标签的 href 收进待抓队列。它不点鼠标,也不保证跑完页面脚本。href 是 # 或者 javascript:,队列里就是空的,data-url 写得再清楚它也不认。列表页是站群文章的总入口,这一断,新发的文既没入链也不在导航里,只能靠 sitemap 零星被捞。
我是从两处对上的
一处是源码。curl 拉分类页,grep 搜 javascript: 跟 href=“#”,一个页 15 条全中,翻页按钮也是 onclick。另一处是日志,按蜘蛛 UA 过滤,抓到的 URL 里几乎没有 /post/ 开头的新链接,category 页被反复抓。两边一对上就清楚了,不是蜘蛛不来,是走到列表页没路。
还有个细节,这模板的列表页还是前端渲染,首屏只给骨架,卡片靠接口塞进来,蜘蛛拿到的 HTML 里连卡片都没有,比 href 写成 # 更彻底。
改法不难,别只改一半
把 href 写成真实地址,JS 只负责增强:要新窗口就用 target,要埋点就在 click 记一笔,别用 onclick 改 location。列表页、分页、面包屑、侧栏最新文章都过一遍。前端渲染的别硬扛,让服务端先把卡片 HTML 输出一遍。
我第一版只改了列表页,忘了分页,结果第 2 页往后照样是空链接,蜘蛛进得去出不来。第二遍全站扫描,改了 11 个文件。
风险与几个坑
一是别把统计跳转写进 href。/go?url= 那种中间页一旦成了唯一链接,蜘蛛抓到的是 302 中转,白白多一跳。二是列表页出链会变多,一页 15 条还算合理,别铺到 60 条把正文链接稀释掉。三是改完核一遍 sitemap 和 抓取排队的老问题,入口通了但抓不完,还是慢。
两周后的日志对比
三个站改完两周,列表页到详情页的蜘蛛请求从每天 40 条左右涨到 190 条,新文进索引从三四天缩到一天多。收录没暴涨,但至少不是发出去没人管。蜘蛛池这东西,入口通不通,日志比报表诚实。

评论列表