python爬虫实例之怎么快速响应服务器

这篇文章给大家分享的是有关python爬虫实例之怎么快速响应服务器的内容。小编觉得挺实用的,因此分享给大家做个参考。一起跟随小编过来看看吧。

为企业提供网站设计、成都网站制作、网站优化、成都营销网站建设、竞价托管、品牌运营等营销获客服务。成都创新互联拥有网络营销运营团队,以丰富的互联网营销经验助力企业精准获客,真正落地解决中小企业营销获客难题,做到“让获客更简单”。自创立至今,成功用技术实力解决了企业“网站建设、网络品牌塑造、网络营销”三大难题,同时降低了营销成本,提高了有效客户转化率,获得了众多企业客户的高度认可!

requests之所以称为“HTTP for human”,因为其封装层次很高,其中一处体现就在:requests会自动处理服务器响应的重定向。我在做搜狗微信公众号抓取的时候,搜狗搜索列表页面的公众号文章地址,其实不是微信的地址而需要请求到搜狗到服务器做重定向,而requests的默认处理则是将整个过程全部搞定,对此可以这样:

In [1]: r = requests.get('http://xlzd.me', allow_redirects=False)

allow_redirects参数为False则表示不会主动重定向。

 

另外,有时候对方网站的响应时间太长了,我们希望在指定时间内完事,或者直接停止这个请求,这时候的做法是:

In [1]: r = requests.get('http://xlzd.me', timeout=3)

timeout表示这次请求最长我最长只等待多少秒

 

拓展:

为requests套上一层代理的做法也非常简单:

import requests
 
proxies = {
  "http": "http://192.168.31.1:3128",
  "https": "http://10.10.1.10:1080",
}
 
requests.get("http://xlzd.me", proxies=proxies)

感谢各位的阅读!关于python爬虫实例之怎么快速响应服务器就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到吧!


文章标题:python爬虫实例之怎么快速响应服务器
分享URL:http://azwzsj.com/article/gdgdpi.html