网站优化如何制作robots.txt文件

1、步骤一：了解robots.txt文件搜索引擎蜘蛛在访问一个网站时，会首先会检溽朽孑臾查该网站的根域下是否有一个叫做 robots.txt的纯文本文件。robots.txt文件作用是禁止搜索引擎抓取网站中某些内容。文件名必须是robots.txt（小写字母）。存放位置必须在空间根目录下，百度的robots.txt文件允许百度蜘蛛抓取网站部分页面。如网站允许抓取所有文件，可以不需要使用此文件。

9、步骤五：robots.txt文件上传服务器将robots.txt文件上传至远程空间根目录下即可。