搜索引擎抓取网页的工作原理

1、一.抓取建库

蜘蛛抓取是搜索引擎主要的数据来源，如果把web理解为一个有向图，那么蜘蛛的工作过程可以看做是对这个有向图的遍历，如图为抓取过程。

2、二.抓取策略类型

友好型抓取：一个域名对多个ip（很多大网站）或多个域名对应同一个ip（小网站共享ip）的问题，根据ip及域名的多种条件进行压力调配控制，也即根据友好度来抓取。

3、三.新链接重要程度判断

主要从两方面来判断，一是内容独特，主题突出，内容丰富，广告适当，这些都是从用户体验的角度了分析；其次是目录层级，层级越深越不重要！

4、四.优先抓取建重要库的原则

有时效性且有价值的页面，并且内容优质，原创度高，活跃度和访问量趋于稳定且比较大。

5、五.外部投票

也就是外链的作用，就相当于投票机制，有越多优质的外链链接到你的网站，即你的投票数就越多，当然外链也是分优质和低劣的区别，以及行业相关程度。