蜘蛛池里十个站有六个开了图片防盗链,看着挺安全。上月翻日志才发现,图片请求 41% 是 403,一大半来自百度蜘蛛和 Googlebot。防的是盗图,顺手把蜘蛛也挡了。

防盗链只认 Referer
原理不复杂:服务器看 Referer 带不带本站域名,带就放行,不带或者来自别站就 403。用意是防别站直接链图,白嫖带宽。
蜘蛛请求本来就不带 Referer
抓图时蜘蛛的 Referer 常常是空的,或只带上一页 URL。不少配置把空 Referer 当盗链拒掉,整站图片对蜘蛛全变 403。某站图片条目 2130 条,三十天 880 次请求被拒,接近四成。
图抓不到,收录入口就少了
百度图片、Google 图片都为图单独建索引,403 意味着取不到内容。正文图全裂,页面完整度也打折。数据很直白:图搜访客从每天六十多掉到十二,文章页收录没怎么动,这条入口基本废了。
白名单要按两个维度放
我只在图片目录放开两条:Referer 为空放行,含本站或站群域名放行;UA 白名单加 Baiduspider、Googlebot-Image、Sogou web spider。UA 能伪造,别整站放,限定 uploads 目录就够。这跟CDN 边缘那轮是同一类活,源站放了还得去 CDN 那层同步,不然边缘照样回 403。
改完两周,数字回来了
图片 403 从 41% 降到 4%,图片索引从 2130 涨到 3900,图搜日访从 12 回到 70 上下,页面不再满屏裂图,正文里的图注也才起作用。
两个坑,踩过的
一个是拿占位图凑数:有站防盗链后返回默认图、状态码仍 200,蜘蛛会把占位图当真图收进去,比 403 更糟,宁可老实返 403。另一个是池子内部互链:几个站同机、互相引图,按 IP 和 UA 封太死时自家图也被拒,日志里那批 403 有一部分是自己人打自己。
防盗链本身没错,错在把没有 Referer 一律当盗链。空 Referer 里混着蜘蛛、直接点开图片的用户、还有 https 转 http 降级的正常请求。放点带宽换回收录入口,账不难算。图抓得到只是第一步,页面能不能收还得看meta 那块有没有挂错。

评论列表