WordPress网站怎样正确设置robots.txt

1、文件头部规则：robots.txt文件的开头为U衡痕贤伎ser-agent:开头，用来指定搜索引擎蜘蛛，如果要针对百度搜索蜘蛛，可以输入User幻腾寂埒-agent:Baiduspider如果要对全体搜索引擎起作用，则输入User-agent:*

2、Disallow规则：Disallow: /abc表示禁止访问收录abc.php、abc.html和abc文件夹下的所有文件。Disallow: /abc/表示仅禁止访问abc文件夹下的所有文围泠惶底件，但是不限制abc.php、abc.html文件。

3、Allow规则：Allow规则同Disallow。

4、Sitemap规则：Sitemap用来告诉搜索引擎网站地图的位置Sitemap: http://你的域名/sitemap.xml其中sitemap.xml是你的网站的网站地图文件。

5、为了避免收录WordPress系统文件：Disallow: /wp-admin/Disallow: /wp-includes/Disa造婷用痃llow: /wp-content/pluginsDisallow: /wp-content/themes

6、为了避免收录重复的内容：Disallow: /feedDisallow: /articles/*/feed

7、为了正确引导搜索引擎找到网址地图（如果有的话）Sitemap: http://你的域名/sitemap.xml其中sitemap.xml是你的网站的网站地图文件。

8、总结全部的robots.txt全文如下：User-agent: *Disallow: /wp-admin/Disallow: /wp-in艘早祓胂cludes/Disallow: /wp-content/pluginsDisallow: /wp-content/themesDisallow: /feedDisallow: /articles/*/feedSitemap: http://你的域名/sitemap.xml现在，robots.txt做好了，然后就是将此文件上传至服务器。

9、使用Xftp连接服务器，并打开网站根目录。

10、如果服务器没有安装ftp服务，则先用Xshell连接服务器，再点击右上方的 文件夹 图标，进入xftp.

11、在xftp中将robots.txt上传至网站的根目录下。

12、在浏览器中输入http://你的域名/robots.txt如果能正常访问，则ok。