robots文件的优化是SEO优化中比较重要的一步，很多的SEO新手们在做网站SEO优化时对robots协议的写法并不了解，甚至robots是什么都不一定知道，其实做网站SEO优化一切都是取决于细节，细节决定你的网站关键词排名的稳定性，下面小编简单的为大家分享下robots协议的写法以及注意事项！

　　一、什么是robots
　　
　　robots是一个协议，给搜索引擎蜘蛛看的，告诉搜索引擎那些文件不准抓取，那些文件可以抓取，相当于学校里的保安，如果是社会上的人保安则禁止进入，如果是学校学生则允许进入，其实就是这个道理，因此，网站页面需不需要搜索引擎蜘蛛抓取可以写如robots协议当中，搜索引擎蜘蛛通过robots文件来识别是否要抓取，robots文件是放在根目录里面的，格式为《robots.txt》
　　
　　二、robots协议的写法是什么？
　　
　　1、 robots文件解读
　　
　　User-agent: *
　　
　　User-agent指的是针对谁，允许谁的意思，*指的匹配所有的意思，整句话可以理解为允许所有的意思
　　
　　User-agent: Baiduspider指的是允许百度蜘蛛抓取
　　
　　Allow指的是允许
　　
　　/指的是目录下面的层几，路径层次
　　
　　Allow:/ 指的是允许抓取整个网站的目录
　　
　　Disallow指的是不允许
　　
　　Disallow:/ 指的是不允许抓取整个网站的目录
　　
　　Disallow:/data/指的是不允许抓取data/下面的文件
　　
　　$:美元符号指的是匹配文件类型的意思，比如：jpg,png,txt,html等文件格式
　　
　　2、 robots文件需要屏蔽的内容
　　
　　Disallow: /api/
　　
　　Disallow: /data/
　　
　　Disallow: /sourcel/
　　
　　Disallow: /install/
　　
　　Disallow: /template/
　　
　　3、 网站地图可以写入robots文件里吗
　　
　　网站地图有两种，一种是html的，另一种是xml的,蜘蛛di一时间访问的是robots，所以我们把网站的地图也放在这里，更容易让蜘蛛知道我们网站的文件有什么，两种文件地图都可以写入robots里面！
　　
　　4、 如何写一个简单的robots文件
　　
　　User-agent: *
　　
　　Disallow: /api/
　　
　　Disallow: /data/
　　
　　Disallow: /sourcel/
　　
　　Disallow: /install/
　　
　　Disallow: /template/
　　
　　三、robots文件应注意哪些问题？
　　
　　1、一定不要写对路径，就是不要带我们网站域名。用/代替就可以。
　　
　　2、注意robots文件中的所有符号都是在英文状态下写的，比如：Disallow:/wp-admin/ 中的“:”是英文状态下的。
　　
　　3、注意空格；例如：Disallow: /wp-admin/ 中的”:”后面紧跟着是一个空格；
　　
　　4、注意大小写；例如：Disallow: /wp-admin/zhongDisallow的“D”是大写的。
　　
　　5、robots是有生效时间的，是由百度决定的，几天或者两个月以内，所以，一定不要随便屏蔽整站。
　　
　　6、还有一点要弄清楚的就是：
　　
　　Disallow: /help 意思是禁止蜘蛛访问/help.html、/helpabc.html、/help/index.html所有的带help的文件及文件夹。
　　
　　Disallow: /help/则是禁止蜘蛛访问/help/index.html这种形式的路径，允许访问/help.html、/helpabc.html，这两个是不一样的，大家要记清楚。
　　
　　以上是关于“robots协议写法以及注意事项”的全部内容，看完此分享你知道如何去做好robots文件吗？相比大家看完此分析定能感受到robots协议在网站SEO优化中的重要性，希望以上分享能够给你提供帮助！此文章原创来源于：https://www.dcseo.cn/730.html