wordpress的robots.txt创建和详细设置教程

1、首先打开电脑，依次点击“开始——所有程序——附件——记事本”

3、然后输入User-agent,表示“允许”的意思

5、这样写 Disallow:/*?* 禁止抓取动态的页面。这样的好处是，如果你的网址做了伪静态的话，如果不禁止，那么等于蜘蛛重复抓胃申赜驵取了你网址的静态页面和动态页面，这样就不利于seo，所以如果你网站做了伪静态一定要禁止蜘蛛抓取动态链接。

7、这样写 Allow: /wp-admin/admin-ajax.php 表示允许蜘蛛抓取这个目录的文件

9、然后写完了所有的内容，就是这样的格式。

11、然后把robots.txt文件上传到你的网站根目录