爬虫如何防止数据重复爬取

1、我们在做爬虫程序的时候，如果是爬取内容相对固定的内容，比较容易避免内容的重复爬取。

3、那么怎么做重复检查？首先，我们需要将每项爬取的内容设置一个唯一标示。如标题、链接地址等。

5、在每爬取一条数据时，和数据库内容进行比较，如果该key值已经出现过，那么就说明该记袄嬖艽蛞录已经爬取，就不应该再重复爬取。