robots.txt用法详解

1、A. 禁止所有搜索引擎访问网站的任何部分：User-agent: *Disallow: /

2、B. 允许所有的robot 访问User-agent: *Disallow:或者也可以建一个空文件 "/robots.txt" file

3、C. 禁止所有搜索引擎访问网站的几个部分（下例中的cgi-bin、tmp、private 目录）User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /private/

4、D. 禁止某个搜索引擎的访问（下例中的Baiduspider）User-agent: BaiduspiderDisallow: /

5、E. 只允许某个搜索引擎的访问（下例中的Baiduspider）User-agent: BaiduspiderDisallow:User-agent: *Disallow: /

6、F. 允许访问特定目录中的部分urlUser-agent: *Allow: /cgi-bin/see帆歌达缒Allow: /tmp/hiAllow: /~joe/lookDisallow: /cgi-bin/Disallow: /tmp/Disallow: /~joe/

7、G. 使用"*"限制访问urlser-agent: *Disallow: /cgi-bin/*.htm禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

8、H. 使用"$"限制访问urlUser-agent: *Allow: .htm$Disallow: /仅允许访问以".htm"为后缀的URL。

9、I. 禁止访问网站中所有的动态页面User-agent: *Disallow: /*?*

10、J. 禁止 Baiduspider 抓取网站上所有图片曷决仙喁User-agent: BaiduspiderDisallow: .jpg$Disallow: .jpeg$Disal造婷用痃low: .gif$Disallow: .png$Disallow: .bmp$仅允许抓取网页，禁止抓取任何图片。

11、K. 仅允许Baiduspider 抓取网页和.gif 坼黉赞楞格式图片User-agent: BaiduspiderAllow: .gif$Disallow: .jpg$Disallow: .枣娣空郅jpeg$Disallow: .png$Disallow: .bmp$