爬虫是什么浅谈爬虫及绕过网站反爬取机制

1、反爬及反反爬概念的不恰当举例　　基于很多原因(如服务器资源，保护数据等)，很多网站是限制了爬虫效果的。　　考虑一下，由人来充当爬虫的角色，我们怎么获取网页源代码?最常用的当然是右键源代码。　　网站屏蔽了右键，怎么办?

2、拿出我们做爬虫中最有用的东西 F12(欢迎讨论)　　同时按下F12就可以打开了(滑稽)

3、讲讲正式倦虺赳式的反爬取策略　　事实上，在写爬虫的过程中一定出现过没有返回数据的情况，这种时候也许是服务器限制了UA头(user-agent)，这就是一种很基本的反爬取，只要发送请求的时候加上UA头就可以了…是不是很简单?　　其实一股脑把需要不需要的Request Headers都加上也是一个简单粗暴的办法……　　有没有发现网站的验证码也是一个反爬取策略呢?为了让网站的用户能是真人，验证码真是做了很大的贡献。随验证码而来的，验证码识别出现了。　　说到这，不知道是先出现了验证码识别还是图片识别呢?　　简单的验证码现在识别起来是非常简单的，网上有太多教程，包括稍微进阶一下的去噪，二值，分割，重组等概念。可是现在网站人机识别已经越发的恐怖了起来，比如这种：

4、下一个话题!　　反爬取策略中比较常见的还有一种封IP的策略，通常是短时间内过多的访问就会被封禁，这个很简单，限制访问频率或添加IP代理池就OK了,当然，分布式也可以…　　IP代理池->左转Google右转baidu，有很多代理网站，虽然免费中能用的不多 但毕竟可以。　　还有一种也可以算作反爬虫策略的就是异步数据，随着对爬虫的逐渐深入(明明是网站的更新换代!)，异步加载是一定会遇见的问题，解决方式依然是F12。以不愿透露姓名的网易云音乐网站为例，右键打开源代码后，尝试搜索一下评论

5、数据呢?!这就是JS和Ajax兴起之后异步加载的特点。但是打开F12，切换到NetWork选项卡，刷新一下页面，仔细寻找，没有秘密。

6、哦，对了 如果你在听歌的话，点进去还能下载呢…

7、仅为对网站结爿瑰鲚母构的科普，请自觉抵制盗版，保护版权，保护原创者利益。　　如果说这个网站限制的你死死的，怎么办?菀蒯踔观我们还有最后一计，一个强无敌的组合：selenium + PhantomJs　　这一对组合非常强力，可以完美模拟浏览器行为，具体的用法自行百度，并不推荐这种办法，很笨重，此处仅作为科普。　　总结　　本文主要讨论了部分常见的反爬虫策略(主要是我遇见过的(耸肩))。主要包括 HTTP请求头，验证码识别，IP代理池，异步加载几个方面，介绍了一些简单方法(太难的不会!)，以Python为主。希望能给初入门的你引上一条路。