大家都知道搜索引擎通过蜘蛛爬行来搜索抓取信息，robot.txt文件就是和蜘蛛交流的文件，很多人都会说介绍要怎么让蜘蛛来爬行，却很少人知道可以用robot.txt去操控蜘蛛，robot.txt用得好的话蜘蛛可以为你所用。Robots.txt是网站管理员创建的文本文件，用于指示网络机器人(通常是搜索引擎机器人)如何抓取其网站上的网页。robots.txt文件是机器人排除协议(REP)的一部分，该协议是一组Web标准，用于管理机器人如何抓取网络，访问和索引内容，以及将内容提供给用户。下面小编就来简述一下robot文件的作用！
屏蔽相同页面
搜索引擎是个喜新厌旧的东西，不会收录重复的页面或已有的页面，即使收录了后期也会删掉，所以一开始我们可以打开robots文件，写禁止蜘蛛来读取这个页面的代码，给蜘蛛留下个好的印象，反之印象会大大减少，影响以后蜘蛛来爬行。
网站地图提交
Robots文件还支持网站地图提交功能，提交了网站地图可以让蜘蛛更好地爬行网站内容，让蜘蛛更快收录你的文章。
删除文件时使用Robots文件禁止蜘蛛访问
当你删除一个目录时需要使用Robots文件禁止蜘蛛对此目录的访问，这样可以避免死链接的形成。当然禁止搜索引擎收录的还有你网站的一些图片目录，js目录....，如果蜘蛛读到没用信息的时候也会降低一点权重。
维护网站安全
利用robots文件可以保护网站的安全，如果不用robots文件屏蔽掉蜘蛛就会抓取后台页面文件，蜘蛛就会默认收录此页面，让黑客有机可趁。
