wordpress的robots.txt创建和详细设置教程

1、首先打开电脑，依次点击“开始——所有程序——附件——记事本”

2、打开记事本文件

3、然后输入User-agent,表示“允许”的意思

4、按照这样的写法就可以User-agent: *,其中“*号”表示允许所有的蜘蛛抓取，如果你写的是“User-agent: Baiduspider”  ，那么就是只允许百度的蜘蛛来抓取。

5、这样写  Disallow:/*?*  禁止抓取动态的页面。这样的好处是，如果你的网址做了伪静态的话，如果不禁止，那么等于蜘蛛重复抓取了你网址的静态页面和动态页面，这样就不利于seo，所以如果你网站做了伪静态一定要禁止蜘蛛抓取动态链接。

6、这样写   Disallow: /wp-admin/   就是禁止蜘蛛抓取  /wp-admin/  目录，为什么禁止这个目录？这个地址是wordpress默认的后台登录地址，没有必要让蜘蛛抓取，这是属于重复页面（因为每个人的wordpress后台登录界面都一样）。

7、这样写   Allow: /wp-admin/admin-ajax.php  表示允许蜘蛛抓取这个目录的文件

8、这样写  Sitemap: https://www.你的网址.com/sitemap.xml  让蜘蛛访问你的网站地图

9、然后写完了所有的内容，就是这样的格式。

10、然后保存txt文件，并命名为“robots.txt”

11、然后把robots.txt文件上传到你的网站根目录

12、然后在你的浏览器地址栏目中，输入你的网址，加上/robots.txt就可以成功的访