如何java写/实现网络爬虫抓取网页

1、首先，在我们动手写代码之前，我们先要想清楚这个爬虫要具备什么功能才可以把网页爬取下来，还有爬虫要采用什么数据结构来实现？能否控制爬虫自动重启？

3、下面我们要根据我们要解决的问题，一个一个来设计我们的各个类。我们的问题主要有：①.如何下载一个网页②.如何从一个网页中提取URL③.如何构建URL队列④如何让爬虫开始工作

5、这里我们要用一下第三方的开源包来完成此功能，因为java自带的实现此功能的包不太好用，请自行百度将此包下载下来。包的名称为HttpClient。

7、可能很多新手只对我这么一说不能深切的体会到其中的内涵，下面我将其以代码的形式展现出来。

9、通过Entity获取到InputStream对象，然后对返回内容进⾏行处理

11、提取URL，这里我们还是使用一款第鹩梏钔喔三方的开源jar包，Jsoup是一款Java的HTML解析器，可以直接解析某个UR讣嘬铮篌L地址、HTML文本内容，它提供了一套非常省力的API，可以通过DOM、CSS以及类似于JQuery的操作方法来取出和操作数据。

13、下面是解析并提取HTML 元素实例代码

15、要想构建URL队列，我们首先需要对爬斗析翡那虫中的队列进行分析，爬⾍虫中的队列分析如下：①初始种⼦子队列②爬⾍虫开始的地⽅方③只使⽤用⼀一次④ArrayList⾜足矣⑤待爬取队列⑥每次从队列取出URL去爬⑦爬过的URL需要从队列中删除⑧LinkedList⑨已爬取队列每次爬取过的URL要添加到队列中每次从网页中发现新的URL时，要判断该URL是否已经存在于已爬取队列（查找），如果不存在，则将该URL添加到待爬去队列Hashtable