云端平台看蜘蛛抓取方便，但真正精细的数据，还得回到自己服务器上翻日志。我之前一直偷懒用面板自带的统计，后来发现统计口径粗，蜘蛛抓取的具体细节根本看不到。换了本地日志分析工具之后，才把蜘蛛的来访规律摸清楚。今天分享四款我在服务器上实测过的本地工具，配张日志分析仪表盘示意图，给喜欢自己动手的站长做个参考。
一、为什么要在自己服务器上分析
原因很简单，日志是原汁原味的一手数据。云端工具看到的都是人家处理过的摘要，自己服务器上的 access.log 里，谁几点来、抓了哪个页面、返回什么状态码、停留多久，全都明明白白。挂蜘蛛池之后想判断效果，看日志最直接。
二、工具一：WebLog Expert
这是老牌本地日志分析软件，官网是 www.weblogexpert.com，有免费版。装上之后把日志文件丢进去，几秒钟就生成一份完整报告，包括访问量、文件类型、浏览器分布，还能单独筛出某个 IP 的抓取行为。我最早就是用它在日志里定位百度蜘蛛的来访规律，界面虽然老一点，胜在稳定。
三、工具二：GoAccess
开源免费，官网是 goaccess.io，Linux 服务器上一条命令就能装。它的特点是实时，终端里直接看滚动数据，支持按来源、按 URL、按状态码排序。我在排查蜘蛛被防火墙误拦的时候用过它，改动配置之后立刻就能看到蜘蛛来访有没有恢复，不用等日志生成完。
四、工具三：AWStats
更老牌的免费方案，官网是 awstats.sourceforge.io，很多老服务器自带。它把日志统计成网页版报告，按小时、按天、按月都能看，还能识别常见蜘蛛的 UA。缺点是要配 cron 定时跑，上手有点门槛，但对老手来说够用且完全免费。
五、工具四：Logaholic
付费工具里我觉得比较值的一个，官网是 www.logaholic.com。它是装在服务器上的面板，支持多站点日志汇总，还能自定义筛选蜘蛛 UA 单独出报告。我拿它做月度报表，给客户汇报用。功能全，但价格不算便宜，预算紧张可以先从免费的开始。
六、我平时怎么搭配用
我自己的组合是这样的：日常用 GoAccess 实时盯，出问题随手能看；每周用 WebLog Expert 出一份周报看趋势；每月用 Logaholic 汇总多站数据做月度总结；AWStats 留着做兜底，万一前两个挂了它还在跑。四样配合，日志层面基本没盲区。
七、注意事项和风险提示
提醒三点。一是日志文件别乱删，留着做历史对比很有用；二是日志分析要看长周期趋势，单看一天看不出什么名堂；三是服务器上装工具注意安全，来历不明的脚本别乱跑。工具再多，也只是帮你把数据看清楚，判断和决策还得靠人。
评论列表