python爬虫使用http代理有什么用途

1、Python爬虫是由架构组成部分;1. URL管理器：管理待爬取的url集合和已爬取的url集合，传送待爬取的url给网页下载器；2. 网页下载器：爬取url对应的网页，存储成字符串，传送给网页解析器；3. 网页解析器：解析出有价值的数据，存储下来，同时补充url到URL管理器。

2、Python爬虫工作原理Python爬虫通过URL管理器，判断是否有待爬URL，如果有待爬URL，通过调度器进行传递给下载器，下载URL内容，并通过调度器传送给解析器，解析URL内容，并将价值数据和新URL列表通过调度器传递给应用程序，并输出价值信息的过程。

3、Python爬虫常用框架有：grab：网络爬虫框架（基于pycur盟敢势袂l/multicur）；scrapy：网络爬虫框架（基于twisted），不支持Python3；pyspider：一个强大的爬虫系统；cola：一个分布式爬虫框架；portia：基于Scrapy的可视化爬虫；restkit：Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源，并围绕它建立的对象；demiurge：基于PyQuery的爬虫微框架。Python爬虫应用领域广泛，crapy、Request、BeautifuSoap、urlib等框架的应用，可以实现爬行自如的功能。