robots.txt用法详解

1、A. 禁止所有搜索引擎访问网站的任何部分：

User-agent: *

Disallow: /

2、B. 允许所有的robot 访问

User-agent: *

Disallow:

或者也可以建一个空文件 "/robots.txt" file

3、C. 禁止所有搜索引擎访问网站的几个部分（下例中的cgi-bin、tmp、private 目录）

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /private/

4、D. 禁止某个搜索引擎的访问（下例中的Baiduspider）

User-agent: Baiduspider

Disallow: /

5、E. 只允许某个搜索引擎的访问（下例中的Baiduspider）

User-agent: Baiduspider

Disallow:

User-agent: *

Disallow: /

6、F. 允许访问特定目录中的部分url

User-agent: *

Allow: /cgi-bin/see

Allow: /tmp/hi

Allow: /~joe/look

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

7、G. 使用"*"限制访问url

ser-agent: *

Disallow: /cgi-bin/*.htm

禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

8、H. 使用"$"限制访问url

User-agent: *

Allow: .htm$

Disallow: /

仅允许访问以".htm"为后缀的URL。

9、I. 禁止访问网站中所有的动态页面

User-agent: *

Disallow: /*?*

10、J. 禁止 Baiduspider 抓取网站上所有图片

User-agent: Baiduspider

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

仅允许抓取网页，禁止抓取任何图片。

11、K. 仅允许Baiduspider 抓取网页和.gif 格式图片

User-agent: Baiduspider

Allow: .gif$

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .png$

Disallow: .bmp$