一、以前我也从来不看日志
刚开始用蜘蛛池那会儿，我基本不看日志，挂上链接就等收录，结果一个多月没动静，都不知道问题出在哪。后来被朋友点醒，才开始学着看池子日志。看完才发现，日志里藏着大部分答案。今天把我盯的几个关键指标分享出来，新手照这个看就行。
二、指标一：抓取次数，池子的体检报告
第一个要盯的是抓取次数，也就是池子每天帮你引了多少次蜘蛛访问。这个数能直接反映池子健不健康。我自己的经验：新站挂链头几天，抓取次数从零涨到每天十几二十次，是正常节奏；如果挂了半个月还是个位数，基本可以判定链接没挂对，或者源站质量不行。抓取次数忽高忽低也正常，但持续低迷就要警惕。
三、指标二：蜘蛛来源，别被假蜘蛛骗了
第二个看蜘蛛来源。日志里会显示蜘蛛的标识和来源，正经的百度蜘蛛、谷歌蜘蛛都有自己的标识。我遇到过一种情况，抓取次数看着不少，其实全是不知名的小蜘蛛或者采集工具，对收录一点用没有。看来源就是要分辨哪些是搜索引擎的蜘蛛、哪些是来凑数的，别被漂亮数字骗了。
四、指标三：异常状态，出事的信号灯
第三个是异常状态。源站被屏蔽、链接失效、响应超时，日志里都有标记。我一般每天扫一遍异常项，连续三天有异常就撤链接换源站。有一回我没看日志，一个源站挂了半个月都没反应，白占位置。异常状态是池子出问题的信号灯，灯亮了就要处理，拖着只会越来越差。
五、指标四：收录对照，效果最终看这里
最后一个是收录对照。光看抓取不够，还要把抓取和收录放在一起看。我习惯每周把池子日志里的抓取数，和站内工具的收录数对一遍：抓取涨、收录涨，说明池子起作用了；抓取涨、收录不动，说明页面或链接有问题；抓取降、收录也降，那可能是池子整体出了问题，得尽快排查。四个指标连起来看，池子状态一目了然。
六、风险提示和最后总结
最后提醒，日志要每天花几分钟看，别攒一周再看，异常积累起来很难收拾。总结一下：蜘蛛池日志就看四个指标，抓取次数看健康度、蜘蛛来源辨真假、异常状态当信号灯、收录对照看最终效果。把这四样盯住了，池子好坏心里就有数了。
评论列表