免费代理IP池 高频抓取某个网站的数据,很有可能就被网站管理员封掉IP,导致抓取数据失败,解决这个问题最直接,简单的方法就是使用代理IP。目前网上有不少提供付费代理IP的平台,但是如需长期使用,该方案是笔不少的开销。本项目通过抓取IP代理网站提供免费代理IP,并不间断的验证IP的有效性,根据代理IP验证的历史记录对IP进行评估,输出高质量代理IP。 源码:https://github.com/clelandgt/ip_proxy 功能 100+ 支持https, 匿名或高匿名的免费代理IP; 外部提供API调用。 …

2018年5月16日 0条评论 0点热度 阅读全文