搜索引擎抓取网页的方法

1、搜索引擎如何抓取网页和如何索引网页

    所谓知己知彼，百战不殆。既然要做搜索引擎优化，必须掌握搜索引擎的基本工作原理，各个搜索引擎之间的区别，搜索蜘蛛如何进行工作，搜索引擎如何对搜索结果进行排序等等。

2、知道主要的搜索引擎和目录以及它们的区别

    搜索引擎有很多，你只要知道最主要的。

    英文的主要有Google，Inktomi，Altavista等；

    中文的有百度，搜狐等。

    不同的搜索引擎对页面的抓取和索引、排序的规则都不一样。

    还要了解各搜索门户和搜索引擎之间的关系，比如Yahoo和AOL网页搜索用的是 Google的搜索技术，MSN用的是Looksmart和Open Directory的技术。

    Yahoo自身不陕扯是搜索引擎称边慎，而是一个大型的网站目录，Open Directory2881064151搜索引荐别是网站内容的收集方式不同。目录是人工编辑的，主要收录网站主页；搜索引集的，除了主页外还抓取大量的内容页面。

3、哪些搜索引擎按点击付费

    搜索引擎不是大公无私的，它最终也是要盈利的。最典型的有Overture和百度，还有Google Adwords。这就涉及竞价排名，它可以帮助你子选择关键词等方面起到作用。

4、推广第一步搜索引擎登录

    这是最最根本的知识了！再好的网站也需要被欣赏。要宣传自己，最简单的办法就是将网站提交（submit）到搜索引擎。你要知道最常用的搜索引擎登录口。

5、Meta标签优化

    主要包括主题（Title)，网站描述(Description)，和关键词（Keywords）。还有一些其它的隐藏文字比如Author（作者），Category（目录），Language（编码语种）等。

6、怎么选关键词并合理放置关键词在瞧段网页中

    搜索就得用关键词。关键词分析和选择是磨刀的一个过程。首先要给网站确定主关键词（一般在5个上下），然后针对这些关键词进行优化，包括关键词密度（Density），相关度（Relavancy），突出性（Prominency）等等。

7、交换链接和链接广泛度（Link Popularity）

    网站之间都是以超文本（Hypertext）的方式来互相链接的。

    搜索者可以通过链接访问你的站点，链接你的网站的站越多，你也就会获得更多的访问量。更重要的是，你的网站的外部链接数越多，会被搜索引擎认为它的重要性越大，从而给你更高的排名。

    所以，你得花很多精力去做和别人做交换链接、发布外链。外链技巧荟萃。