如何绕开网站防护抓取数据
发布网友
发布时间：2022-04-06 04:01
共3个回答
懂视网
时间：2022-04-06 08:23
【相关学习推荐：网站制作视频教程】
爬虫是什么呢，简单而片面的说，爬虫就是由计算机自动与服务器交互获取数据的工具。爬虫的最基本就是get一个网页的源代码数据，如果更深入一些，就会出现和网页进行POST交互，获取服务器接收POST请求后返回的数据。一句话，爬虫用来自动获取源数据，至于更多的数据处理等等是后续的工作，这篇文章主要想谈谈爬虫获取数据的这一部分。爬虫请注意网站的Robot.txt文件，不要让爬虫违法，也不要让爬虫对网站造成伤害。
反爬及反反爬概念的不恰当举例
基于很多原因(如服务器资源，保护数据等)，很多网站是限制了爬虫效果的。
考虑一下，由人来充当爬虫的角色，我们怎么获取网页源代码?最常用的当然是右键源代码。
网站屏蔽了右键，怎么办?
拿出我们做爬虫中最有用的东西 F12(欢迎讨论)
同时按下F12就可以打开了(滑稽)
源代码出来了!!
在把人当作爬虫的情况下，屏蔽右键就是反爬取策略，F12就是反反爬取的方式。
讲讲正式的反爬取策略
事实上，在写爬虫的过程中一定出现过没有返回数据的情况，这种时候也许是服务器限制了UA头(user-agent)，这就是一种很基本的反爬取，只要发送请求的时候加上UA头就可以了…是不是很简单?
其实一股脑把需要不需要的Request Headers都加上也是一个简单粗暴的办法……
有没有发现网站的验证码也是一个反爬取策略呢?为了让网站的用户能是真人，验证码真是做了很大的贡献。随验证码而来的，验证码识别出现了。
说到这，不知道是先出现了验证码识别还是图片识别呢?
简单的验证码现在识别起来是非常简单的，网上有太多教程，包括稍微进阶一下的去噪，二值，分割，重组等概念。可是现在网站人机识别已经越发的恐怖了起来，比如这种：
简单讲述一下去噪二值的概念
将一个验证码
变成
就是二值，也就是将图片本身变成只有两个色调，例子很简单，通过python PIL库里的
Image.convert("1")
就能实现，但如果图片变得更为复杂，还是要多思考一下，比如
如果直接用简单方式的话 就会变成
思考一些这种验证码应该怎么识别?这种时候 去噪 就派上了用处，根据验证码本身的特征，可以计算验证码的底色和字体之外的RGB值等，将这些值变成一个颜色，将字体留出。示例代码如下，换色即可
for x in range(0,image.size[0]): for y in range(0,image.size[1]): # print arr2[x][y] if arr[x][y].tolist()==底色: arr[x][y]=0 elif arr[x][y].tolist()[0] in range(200,256) and arr[x][y].tolist()[1] in range(200,256) and arr[x][y].tolist()[2] in range(200,256): arr[x][y]=0 elif arr[x][y].tolist()==[0,0,0]: arr[x][y]=0 else: arr[x][y]=255
arr是由numpy得到的,根据图片RGB值得出的矩阵,读者可以自己尝试完善代码，亲自实验一下。
细致的处理之后图片可以变成
识别率还是很高的。
在验证码的发展中，还算清晰的数字字母，简单的加减乘除，网上有轮子可以用，有些难的数字字母汉字，也可以自己造轮子(比如上面)，但更多的东西，已经足够写一个人工智能了……(有一种工作就是识别验证码…)
再加一个小提示：有的网站PC端有验证码，而手机端没有…
下一个话题!
反爬取策略中比较常见的还有一种封IP的策略，通常是短时间内过多的访问就会被封禁，这个很简单，限制访问频率或添加IP代理池就OK了,当然，分布式也可以…
IP代理池->左转Google右转baidu，有很多代理网站，虽然免费中能用的不多 但毕竟可以。
还有一种也可以算作反爬虫策略的就是异步数据，随着对爬虫的逐渐深入(明明是网站的更新换代!)，异步加载是一定会遇见的问题，解决方式依然是F12。以不愿透露姓名的网易云音乐网站为例，右键打开源代码后，尝试搜索一下评论
数据呢?!这就是JS和Ajax兴起之后异步加载的特点。但是打开F12，切换到NetWork选项卡，刷新一下页面，仔细寻找，没有秘密。
哦，对了 如果你在听歌的话，点进去还能下载呢…
仅为对网站结构的科普，请自觉抵制盗版，保护版权，保护原创者利益。
如果说这个网站限制的你死死的，怎么办?我们还有最后一计，一个强无敌的组合：selenium + PhantomJs
这一对组合非常强力，可以完美模拟浏览器行为，具体的用法自行百度，并不推荐这种办法，很笨重，此处仅作为科普。
热心网友
时间：2022-04-06 05:31
另外，在scrapy爬虫框架里，专有参数可以设置下载等待时间download_delay，这个参数可以设置在setting.py里，也可以设置在spider里。
IP的访问频率被*，一些平台为了防止多次访问网站，会在某个同一个IP在单元时间内超过一定的次数的时候，将禁止这个IP继续访问。对于这个*IP访问效率，可以使用代理IP的方法来解决问题比如使用IPIDEA。
采用分布式爬取分布式爬取的也有很多Githubrepo。原理主要是维护一个所有集群机器能够有效分享的分布式队列。使用分布式爬取还有另外一个目的：大规模抓取，单台机器的负荷很大，况且速度很慢，多台机器可以设置一个master管理多台slave去同时爬取。
修改User-Agent最常见的就是伪装浏览器，修改User-Agent(用户代理)。User-Agent是指包含浏览器信息、操作系统信息等的一个字符串，也称之为一种特殊的网络协议。服务器通过它判断当前访问对象是浏览器、邮件客户端还是网络爬虫。在request.headers里可以查看user-agent，关于怎么分析数据包、查看其User-Agent等信息，这个在前面的文章里提到过。
具体方法可以把User-Agent的值改为浏览器的方式，甚至可以设置一个User-Agent池(list，数组，字典都可以)，存放多个“浏览器”，每次爬取的时候随机取一个来设置request的User-Agent，这样User-Agent会一直在变化，防止被墙。
综上所述，爬虫怎么突破反爬虫的方法比较多，上文从更换IP、控制下载频率、分布式爬取、修改User-Agent这四个方面介绍了突破反爬虫机制的方法，从而实现数据的爬取。
热心网友
时间：2022-04-06 06:49
首先对于一个从事数据挖掘或者大数据分析的人来讲，你一定要坚信，世界上没有哪一个网站是绝对防扒的。这就意味着所有的网站只要是网站，就一定能找到相关的方法，把数据爬取下来。即使是网站有防护，也要坚定这个信心。
使用常规的IP池通过IP的不断更换。从而实现对你身份和你相关cookie技术的进一步清理和整理，包括最起码的网站IP封锁和相关的防护工程。这是所有数据采集者必须要具备的一个IP池。这是数据爬取的第一要义。
写一套非常好的爬虫系统和规则。一个好的爬虫系统后，好多爬虫规则需要能智能化的判断自己是不是已经被封了，或者能够写几套同样的规则，去从不同的方面发起相关的采集。高效的解决客户的网点问题，又能高效的解决数据的分析问题。
避免可视化的数据采集。在网站防护工程中，通常是通过你可视化，或者通过常规手段去爬取数据，还在数据的采集过程中，尽量不要去看数据，而是通过代码读取代码或传输过程中的封包截取，也就是通过数据的拦截和数据，自己的封包进行分包拆借而实现数据，抓取和挖掘。
