网站robots.txt怎么写,robots.txt写法大全解析

网站robots.txt怎么写,robots.txt写法大全解析。robots文件的作用是告诉搜索引擎蜘蛛，网站的哪些文件夹可以抓取，哪些文件夹不能抓取，从而确保我们网站的隐私内容不会被收录。

工具/原料

电脑/笔记本

写在前面：

1、robots.txt文件是什么？robots.txt是存放在网站根目录下的一个TXT文本文档，它是网站和蜘蛛之间的一个协议（蜘蛛协议）。

2、robots.txt文件哟什么用？robots.txt的作用是告诉搜索引擎爬虫，网站的哪些文件夹可以抓取，哪些文件夹不能抓取，从而确保我们网站的隐私内容不会被索引。

robots.txt写法大全解析：

1、自定义搜索引擎：用User-agent：来定义搜索引擎，其中*表示所有百度蜘蛛名字：Baiduspi颊俄岿髭der，谷歌蜘蛛名字：GooglebotUser-agent：* 表示定义所有蜘蛛User-agent: Baiduspider表示自定义百度蜘蛛User-agent: Googlebot表示自定义谷歌蜘蛛大家可以参考百度或者某宝的robots.txt，他么就有对个别搜索引擎爬虫禁止抓取。

5、禁止访问网站中的动态页面：User-agent: *Disallow: /*?*注意：？表示动态路径，*表示所有。

6、只允许搜索引擎爬虫访问网站首页：User-agent: *Disallow: /*

7、最后是我一个网站的robots.txt的文件，我是这样写的，大家可以作参考：