挂蜘蛛池之后，蜘蛛来得比平时勤快多了，可很多站长在这时候反而被自己的robots.txt坑了。我自己就犯过一回，把后台目录误写成禁止抓取，结果正文页面也被连坐，收录直接停了半个月。今天把robots.txt的正确写法梳理一遍，配张实例代码示意图，给挂池期的站长提个醒：协议文件写对了，蜘蛛才进得来。
一、先说结论
结论一句话：挂池期间robots.txt的原则是放行全部搜索引擎，只屏蔽后台、临时目录和重复页面。我的写法是User-agent全部允许，Disallow只写需要屏蔽的路径，Sitemap地址放最后一行。这样蜘蛛进来不会迷路，也不会把没用的页面全抓一遍。
二、robots协议是什么
robots.txt是放在网站根目录的一个文本文件，告诉搜索引擎蜘蛛哪些页面能抓、哪些不能抓。它不是强制命令，但对正规搜索引擎基本都有效。对挂池的站来说，这个文件就是给蜘蛛指路的门牌，门牌写错，蜘蛛再多也进不到该进的房间。
三、核心原理与作用
搜索引擎蜘蛛抓取前都会先读robots.txt，按里面的规则决定访问范围。规则写得太严，蜘蛛连正文都抓不了，挂池白挂；写得太松，后台、搜索页、标签页全被收录，权重被稀释。挂池期间蜘蛛抓取量大，robots.txt的作用更明显，写得好等于把每次抓取都用在刀刃上。
四、实操方法或步骤
我按四步来配。第一步，打开根目录的robots.txt，开头写User-agent，星号代表全部搜索引擎，一行放行；第二步，Disallow只写该屏蔽的路径，比如后台目录和临时目录，别写根目录斜杠，那是把整站都关了；第三步，确认正文路径没被误伤，写完拿浏览器直接访问一下被屏蔽页面，看返回状态；第四步，把Sitemap完整地址写在最后一行，让蜘蛛顺着地图把新文章都翻一遍。改完在搜索引擎的抓取测试工具里复查一遍，确保规则生效。
五、我的实测记录
说组数据。我那次误写后，收录量从每天新增十来篇掉到一周新增两篇，排查了两天才找到robots.txt的问题。改回放行后，蜘蛛恢复抓取，三天内收录就补回来了。后来我又在robots.txt里屏蔽了标签聚合页和搜索页，抓取预算省了不少，蜘蛛把更多时间花在新文章上，新文章收录从隔天变成当天。
六、适用人群与使用建议
给三类人参考。一是挂池新手，robots.txt默认放行就好，别一上来就写得花里胡哨；二是站内重复页面多的，把标签页、分页、搜索页加进Disallow；三是文章更新勤快的，确认Sitemap地址写在文件里，让蜘蛛按图索骥。每次改完robots.txt，记得在搜索引擎工具里复查一次。
七、注意事项和风险提示
提醒几句。一是别用Disallow整站屏蔽来测试蜘蛛，写错一次等于自己断了自己收录；二是屏蔽路径用相对路径就行，别带域名，带了容易误伤；三是爬虫抓取有缓存，改完不会立刻生效，等两三天观察；四是有些采集爬虫不读robots.txt，别指望这个文件防采集，该上其他防护照上。robots.txt是给正规蜘蛛指路的，写对了，挂池的效果才能全吃进肚子里。
评论列表