robots.txt文件在网站根目录中就能找到，其主要用处就是当搜索引擎访问网站的时候，告诉它网站中哪些页面可以被抓取，哪些禁止抓取，也可以通过它来屏蔽页面来达到集Robots文件格式：User-agent: User-agent的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要。
这篇贴子讨论robots文件。Robots文件的作用robots文件是一个放置在域名(或子域名)根目录下的、文件名固定为robots.txt的(全部小写)、UTF8编码的、纯ASCII文本文件，用来通知搜索引如果我们不配置robots文件，那么蜘蛛来到网站以后会无目的的爬行，造成的一个结果就是，需要它爬行的目录，没有爬行到，不需要爬行的，也就是我们不想被收录的内容却被爬行并放出快。
网站模板库为您提供robots生成工具，让您的代码格式更加简洁工整，另外本站还提供字母大小写转换工具，欢迎您深入使用。很多建站系统，在建成网站后，都网站根目录，默认有robots.txt协议文件。在网站优化竞争日益加剧的今天，原本设立之初无优化因素的robots.txt文件也被最大化使用，掌。
?▂? # robots.txt generated at 百度也不知道User-agent: *Disallow: Crawl-delay: 10Sitemap: 百度不告诉你文件生成：hRobots文件接手不久一个B2B电子商务平台、由于产品详情页有两种不同形式的URL:有32位、也有16位，所以需要对URL进行统一规范……目前，Robots文件#标签聚合页面仍在完善中，后续。
请仔细检查自己的robots文件，非常搜索引擎对网站收录的影响使用说明1:robots.txt可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。2. 您可以通过Robots工具来创建、校验、更新您最佳答案：robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它。robots.txt是一个协议，而不是一个命令。ro更多关于robots文件的问题>>。
