短期内频繁访问目标网站,给目标网站服务器造成了压力,肯定是要被封IP的,解决办法就是换个IP,换IP最快的方式就是用HTTP代理IP,这里我推荐你使用华益云HTTP代理IP,最多1秒可以获取到200个IP,并且99%的IP都是可以连通的非常稳定,100%都是高匿的IP,5块钱就可以买到1万个IP比自建IP池的成本还低,新注册可以直接找客服领1万个IP测试质量,并且python新手可以找客服领python示例代码。
如果你使用了高匿的HTTP代理IP,那么这时候你爬取数据的时候对方平台所检测到的不是你本机IP,而是你所使用的代理IP的这个IP,你本机的IP已经被隐匿起来了,你短期内频繁访问目标网站获取数据,还是会给对方服务器造成压力还是会封你,但是请注意,这时候封的是你代理IP的IP,封掉了你换个IP继续工作就行了,正如我刚才所说华益云的HTTP代理IP可以1秒之内最多获得200个IP,几乎不存在换IP的间隔,所以工作效率大大提升。
华益云那边还有ADSL拨号物理机服务器出租,也可以把爬虫程序丢到服务器上跑,支持系统自带的3389远程桌面链接方式超级流畅,反正不懂就问客服24小时有人值班。