python爬虫怎么添加ip池
这篇文章主要讲解了“python爬虫怎么添加ip池”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“python爬虫怎么添加ip池”吧!
网站建设哪家好,找创新互联公司!专注于网页设计、网站建设、微信开发、小程序设计、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了武山免费建站欢迎大家使用!
1、下载代理ip池文件Proxypool。
使用的是github上比较流行的ProxyPool,下载zip文件
https://github.com/jhao104/proxy_pool/releases
2、安装一些扩展库和数据库redis。
解压并安装代理池需要的依赖文件,cmd命令行进入到该文件夹下(在文件夹地址栏输入cmd然后回车),安装依赖文件(requirements为代理池需要用到的扩展库列表)。
3、启动Redis服务后,启动ProxyPool服务,然后在python中使用ProxyPool代理ip池。
import requests def get_proxy(): #5000:settings中设置的监听端口,不是Redis服务的端口 return requests.get("http://127.0.0.1:5000/get/").json() def delete_proxy(proxy): requests.get("http://127.0.0.1:5000/delete/?proxy={}".format(proxy)) # 主代码 def getHtml(): retry_count = 5 proxy = get_proxy().get("proxy") print(proxy) while retry_count > 0: try: html = requests.get('http://www.baidu.com', proxies={"http": "http://{}".format(proxy)}) print(html.text) break except Exception: retry_count -= 1 # 删除代理池中代理 delete_proxy(proxy) return None getHtml()
感谢各位的阅读,以上就是“python爬虫怎么添加ip池”的内容了,经过本文的学习后,相信大家对python爬虫怎么添加ip池这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!
网站题目:python爬虫怎么添加ip池
本文地址:http://azwzsj.com/article/ijgjsp.html