robots.txt文件应该放置在网站根目录下。比如说，当spider访问一个网站（例如http://www.chinaz.com）时，首先会检查该网站中是否存在http://www.chinaz.com/robots.txt这个文件，如果Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。