网站robots文件解读，robots文件怎么写

1、百度的robots文件位于：http://www.baidu.cm/robots.txt

2、只有在我们网站需要禁止抓取一些内容的时候，robots.txt才显得有意义。当robots文件不存在或者是空文件的时候都意味着允许搜索引擎抓取网站所有内容。也有因为服务器设置问题，而造成的robots文件不存在返回200状态码，这时建议就算允许搜索引擎蜘蛛抓取所有内容，也最好建一个空的robots.txt文件，放在根目录下。robots记录格式如下：

5、Disallow：禁止的目录或文件必须分开写，每个一行，不能写成：Disallow：/cgi-bin/ /tmp/ /aa/index.html下面的指令相当于允许所有搜索引擎蜘蛛抓取任何内容：

7、Allow：允许蜘蛛抓取某些文件(注意：Allow单独写没有意义，需要配合Disallow使用才行)以ab目录为例，下面的代码将不允许蜘蛛抓取/ab/目录下其他文件或目录，但是允许抓取/ab/目录下的/cd/里的内容。

9、下面的代码将禁止百度抓取所有.jpg文件：

11、Sitemaps位置：告诉蜘蛛XML网站地图在哪里，格式为：Sitemap：<网站地图位置>