您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识
当爬虫时遇到IP和访问时间间隔限制,我们该如何处理?
爬虫,用户,自己的当爬虫时遇到IP和访问时间间隔限制,我们该如何处理?
发布时间:2019-02-08加入收藏来源:互联网点击:
当爬虫时遇到IP和访问时间间隔限制,我们该如何处理?
回答于 2019-09-11 08:43:50
回答于 2019-09-11 08:43:50
刚好上个月在用爬虫爬一些资料,说下我的理解吧。
爬虫和反爬虫本身就是对抗性质的,没有万能的方法,但爬取有一条是不变的,爬取的核心策略是模拟真实用户的访问,因为反爬策略不可能想把真实用户都屏蔽。
而真实的用户:访问间隔肯定不会一秒钟很多次;用户的浏览器,可能五花八门;用户的IP地址可能遍布五湖四海;访问的时间业也是有一定规律的;还有用户的浏览轨迹等等,都有一定的规律。我们要做的,就是模拟这些真实用户的访问。
具体建议如下:
首先尝试限制自己的爬取间隔,把自己当成普通用户,模拟普通的访问间隔,再加上一些高斯噪声。可以尝试修改自己的UserAgent,找一批常用浏览器的UseAgent列表,按一定策略从中选择最后,也是重点:用代理,代理分很多种,有透明代理、匿名代理、高匿代理等,用高匿代理,前两种还是会暴露自己。网上很多免费的代理,我记得前两年我爬下来过滤下还是有些可用的。但上个月我试验下来,免费代理基本上全军覆没。那就买代理,现在很多代理池都很便宜,大多数都提供试用。试用后,根据稳定性选择购买即可。
代理很好用,但也不要全部依赖于代理,其他方面处理不好,代理也会很快被封。要从各个角度综合考虑,否则买来的代理,也不能充分发挥它的潜力。回答于 2019-09-11 08:43:50
更改UA
使用大量的代理ip
私密代理 规格丰富,覆盖爬虫工作者需求场景;另外个人中心可以实时监控IP使用情况(IP使用统计、并发、带宽、报错分析等等);
回答于 2019-09-11 08:43:50
爬虫遇到IP限制怎么办
1、放慢抓取速度,减小对于目标网站造成的压力。但是这样会减少单位时间类的抓取量。
2、第二种方法是通过设置代理IP等手段,突破反爬虫机制继续高频率抓取。网站的反爬机制会检查来访的IP地址,为了防止IP被封,这时就可以使用芝麻HTTP代理,来切换不同的IP爬取内容。使用代理IP简单来讲就是让代理服务器去帮我们获得网页内容,然后再转发回我们的电脑。选择代理时一定要选择高匿代理,这样目标网站既不知道我们使用代理,更不会知道我们真实的IP地址。
3、建立IP池,池子尽可能的大,且不同IP均匀轮换。
回答于 2019-09-11 08:43:50
1.换ip
2.伪装
一般专业的都有自己的代理池,你也养一池
回答于 2019-09-11 08:43:50
爬虫工作者在采集数据的时候会不定期的更换IP,因为局域网对访问用户的端口、目的网站、协议、游戏、即时通讯软件等都有限制,如果IP的访问频率、访问次数的过多,严重就会封掉IP禁止访问。如果要突破这些限制,就要通过动态IP软件来快速切换IP,使用不同的IP来增加访问的次数。
对于大量切换IP需求的工作,优质的代理IP池做到极大提高了工作效率,如果想要了解更多IP代理的问题,可以关注神龙IP代理,满足您的各种工作需求,还可以免费试用哦。
回答于 2019-09-11 08:43:50
可以用动态ip,,每执行完一次后重新拨一下号即可,如果你是固定ip,只能使用代理
下一篇:返回列表
相关链接 |
||
网友回复(共有 0 条回复) |