scrapy如何爬取iframe

2025-05-30 08:09:44

1、判断URL指向网站的域名，

2、如果指向的是外部网站，

3、那么可以将其丢弃

4、URL去重，可以将所有爬取过的URL存入数据库中，

5、然后查询新提取的URL在数据库中是否存在，

6、如果存在的话，当然就无需再去爬取了。

7、希望我的经验对你有所帮助

声明：本网站引用、摘录或转载内容仅供网站访问者交流或参考，不代表本站立场，如存在版权或非法内容，请联系站长删除，联系邮箱：site.kefu@qq.com。