2019 工作疑难杂症汇总(重定向篇）

重定向篇
大家有没有在请求的过程中遇到302重定向，在爬取某网时候我遇到4次重定向才能得到某数据，请各位看官看下图：

经过4次跳转我才能获取到我想要的url，那么这个时候很简单，一次次的盘他

import requests

url = "我是某url"
# allow_redirects=False的意义为拒绝默认的301/302重定向从而可以通过html.headers[‘Location’]拿到重定向的URL
result = requests.get(url,headers=headers,allow_redirects=False)
# 拿到重定向后的url
resume_url = result.headers['location'] 

当然你也可以使用session.get()方法，它重定向几次你就盘他几次，最后得到你想要的数据的url。