怎么查看网站robots设置的蜘蛛访问权限

1、找到想要了解的网站，这里我以百度为例。打开百度官网：www.baidu.com。

2、在域名栏输入：www.baidu.com/robots.txt。回车进入。如图。

1、“User-agent:”+蜘蛛爬虫代码，表示针对某个搜索引擎。

Baiduspider表示百度蜘蛛、Googlebot表示谷歌爬虫、Baiduspider-image表示百度图片蜘蛛、Sosospider搜搜蜘蛛、Sogou web spider搜狗蜘蛛……

“User-agent: * ”表示针对所有搜索引擎。

2、“Disallow:”+文件夹/名 表示不被允许访问的页面或栏目页。

3、“Allow: ”+文件夹/名 表示被允许访问的页面或栏目页。

4、“Sitemap:”+ 网站地图 告诉爬虫这个页面是网站地图