用Python爬取大众点评时被反爬ip被封怎么办,他总叫我滑动验证但滑动了也...

发布网友发布时间：2022-04-23 10:04

共5个回答

热心网友时间：2022-04-18 03:09

1、放慢爬取速度，减小对于目标网站造成的压力。但是这样会减少单位时间类的爬取量。
第二种方法是通过设置IP等手段，突破反爬虫机制继续高频率爬取。网站的反爬机制会检查来访的IP地址，为了防止IP被封，这时就可以使用HTTP，来切换不同的IP爬取内容。使用代理IP简单的来讲就是让代理服务器去帮我们得到网页内容，然后再转发回我们的电脑。要选择高匿的ip，IPIDEA提供高匿稳定的IP同时更注重用户隐私的保护，保障用户的信息安全。
2、这样目标网站既不知道我们使用代理，更不会知道我们真实的IP地址。

3、建立IP池，池子尽可能的大，且不同IP均匀轮换。
如果你需要大量爬取数据，建议你使用HTTP代理IP，在IP被封掉之前或者封掉之后迅速换掉该IP，这里有个使用的技巧是循环使用，在一个IP没有被封之前，就换掉，过一会再换回来。这样就可以使用相对较少的IP进行大量访问。

热心网友时间：2022-04-18 04:27

用代理啊，多弄一下代理IP，另外需要控制抓取的速度，太快肯定会被封的。

热心网友时间：2022-04-18 06:02

我劝你们还是别学爬别人的东西了，很容易违法的

热心网友时间：2022-04-18 07:53

用ADSL，频率也要把控好追问ADSL？

热心网友时间：2022-04-18 10:01

1.用代理，写个代理池。
2.加个睡眠 sleep
3.加个请求头来模仿浏览器，不然你肯定会被封的。
希望能帮到你。。。。