如何禁止爬取网页中的链接
1、首先我们创建一个robots.txt
3、在robots.txt文档中加入Disallow: *.htm，保存文件。
4、将保存的文件上传到网站的根目录。
声明：本网站引用、摘录或转载内容仅供网站访问者交流或参考，不代表本站立场，如存在版权或非法内容，请联系站长删除，联系邮箱：site.kefu@qq.com。
1、首先我们创建一个robots.txt
3、在robots.txt文档中加入Disallow: *.htm，保存文件。
4、将保存的文件上传到网站的根目录。