十月我给蜘蛛池加了第五台主机,配置照着前面几台抄了一遍,图省事,nginx 版本、PHP 版本、连默认响应头都没动。折腾一个月,抓取曲线平得像一条直线。后来抓包对比才发现,五台机器吐出来的响应头几乎一模一样,蜘蛛那边大概早就把我们并成一批算了。
同一套模板装出来的机器,指纹全撞
我这五台都是一个服务商、同一天开的高配机型,系统镜像也选的一样。装上宝塔,编译参数默认,Server 头就都是 nginx 一个版本号,X-Powered-By 里的 PHP 版本也一致。外人看不出区别,蜘蛛更看得出。它不需要多聪明,比对一下响应头的排列顺序就够了。
我对着抓包比出来的四条指纹
一,Server 头的内容和暴露程度。有的是裸版本号,有的是被裁掉一部分,五台全一致就是明显信号。二,响应头的先后顺序和大小写。不同 web 服务、不同中间件排出来的顺序不一样,这个比版本号更难伪装。三,TTFB 的数值区间。我这五台都在 60 到 90 毫秒之间,起落节奏都差不多,跑在不同机房的站却有着同一套时延特征,挺反常。四,IP 段。五台机器落在同一个 C 段的不同 B 段里,本身不算硬伤,但配上前面三条就成套了。
改完之后的抓取变化
没有大动干戈,只做了三件事。把一台换成了 Tengine,一台加了层反代,让响应头顺序和字段名错开;给两台机器把时区、gzip 压缩级别、缓存头策略各调一版;再给每台配独立的日志轮转时间。二十天后再看日志,同一批文章的抓取来源从 78% 压在一个 UA 上,变成三个 UA 轮流来,新栏目进索引的时间也从平均五天缩到两天出头。数字不算惊艳,但至少不再是整批整批地被忽略。
别为改指纹去装来路不明的软件
市面上有些所谓指纹伪装脚本,来源不明,装上去可能顺手给你留个后门,我是不碰的。真正有用的改动都在配置层面,自己动手两小时能做完。另外提醒一句,指纹只是加分项,站群被判定的主因还是内容同质和互链结构,别指望改几个响应头就能翻身。
这事说穿了就是:机器可以一个模子刻出来,网站不能。细节上留点差异,蜘蛛才会把你当成一堆独立的站,而不是一个批次的货。

评论列表