代理IP,是爬虫必用,如果自己想开发可以在开源基础上升级。
这里分享2个开源项目,亲测可用,来搭建国内和国外的代理IP池,开箱即用。
海外代理IP
仓库:glider,把免费机场开发成为socks5代理
https://github.com/nadoo/glider.git
配置:glider.conf
配置添加:
运行:
测试:
其他:
glider功能非常强大,用来做协议转换非常不错
国内
仓库
https://github.com/jhao104/proxy_pool
运行
测试
其他
代码开源,感谢作者!非常适合二次开发添加其他付费代理