Robots文件应该怎么看

1、 首先应该知道的是，robots文件是一个普通的文本文档，是放在网站的根目录下面的，在网站首页的展现位置，在什么地方都可以，最好是放在最上边或者是最下边比较好，不占空间。

3、第二种：禁止所有搜索引擎访问用User-agent: *Disallow: /或者User-agent: *allow:进行设置。

5、第四种、禁止某个搜索引擎蜘蛛的访问，我用d来表示目录的文件夹。那么，可以写为User-agent: w 肛舀辨乔Disallow: /或User-agent: w Disallow: /d/*.htm在Disallow:后面加 /d/*.htm的意思是表示：禁止搜索引擎访问d目录下的所有以htm的文件，包含子目录文件。

7、第六种、使用”$”来限制访问url用法：User-agent: * Allow: .htm$ Disallow: /意思表示为：仅允许搜索引擎访问以”.htm”为后缀文件。

9、第八种：禁止搜索引擎F抓取网站上所有图片；写作方式：jpg png gif bmp jepg 类型User-agent: FDisallow: .jpg$Disallow: .jpeg$Disallow: .gif$Disallow: .png$Disallow: .bmp$意思是表示：只允许引擎抓取网页内容，但是禁止抓取jpg、jpeg、gif、png、bmp格式的图片。