挂了蜘蛛池，天天刷后台看收录，总觉得心里没底。其实判断池子有没有用，根本不用猜，服务器日志就是最诚实的答案。我带过的站长里，十个有八个从来不看日志，全靠感觉，出了问题都不知道怪谁。今天把看日志要盯的四个指标讲清楚，配张抓取日志分析示意图，看完你就知道池子到底在不在干活。
一、为什么要看日志
日志记录的是蜘蛛每一次访问你站的时间、页面和结果，一五一十全在。挂池有没有效果，收录涨没涨可能有延迟，但日志不会骗人，蜘蛛来没来、来了多少次、抓了哪些页面，一目了然。
二、指标一：蜘蛛来访频率
这是最基本的指标。挂池之前先记下基线，比如一周来三次，挂池之后看频率有没有涨。我见过挂池前后完全没变化的，那基本就是池子问题，趁早换。正常情况挂池后频率应该至少翻一倍，我自己的站从每天两次涨到了每天十来次。
三、指标二：抓取页面数量
光来得勤还不行，还得看来一次抓多少页。有的蜘蛛来了就抓首页，转一圈走人，这种没意义。要看单次访问抓取了几页、覆盖了哪些页面，理想状态是新文章当天就被抓到，老页面也有周期性回访。
四、指标三：抓取深度
深度看的是蜘蛛在你站里爬了几层。挂池常见的一个问题是蜘蛛只逛首页和栏目页，内页根本不进。这时候就该查内链了，多半是内页入口太少，蜘蛛爬不进去。我优化过一个大站，把内页全部挂上导航入口之后，深度立刻从两层到了四层。
五、指标四：返回状态码
日志里最能发现问题的是状态码。200 是正常，301 是跳转，404 是页面不存在。如果日志里 404 一堆，说明站内死链太多，蜘蛛每次来都在白费力气。我接手过一个站，日志里 404 占了快三成，清理完死链，收录很快就上来了。
六、怎么分析和怎么改
看日志不需要多复杂的工具，主机面板自带的日志文件就能看，或者用百度搜索资源平台里的抓取异常报告也行。我建议每周拉一次数据，统计频率、页数、深度、状态码四个指标，跟上周对比，有异常就顺着日志反查原因。发现问题就改，改完下周再验证，循环几轮，池子效果能最大化。
七、注意事项和风险提示
最后提醒两句。一是日志要跟池子生效时间对齐，刚挂池的头两三天数据参考意义不大，至少看一周；二是别把其他蜘蛛的访问算进池子效果里，百度蜘蛛、谷歌蜘蛛还有各种爬虫要分开统计。日志是工具，会看会用，池子钱才花得值。
评论列表