Python爬虫技术:爬虫时如何知道是否代理ip伪装成功?
程序员文章站
2023-10-29 10:06:10
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 python爬虫时如何知道是否代理ip伪装成功: 有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代 ......
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
python爬虫时如何知道是否代理ip伪装成功:
有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。
ps:如有需要python爬虫+数据分析学习资料的粉丝可以点击下方链接自行获取
python¶ requests #! -*- encoding:utf-8 -*- import requests import random # 要访问的目标页面 targeturl = "http://httpbin.org/ip" # 要访问的目标https页面 # targeturl = "https://httpbin.org/ip" # 代理服务器 proxyhost = "t.16yun.cn" proxyport = "31111" # 代理隧道验证信息 proxyuser = "16zkbrlb" proxypass = "234076" proxymeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { "host" : proxyhost, "port" : proxyport, "user" : proxyuser, "pass" : proxypass, } # 设置 http和https访问都是用http代理 proxies = { "http" : proxymeta, "https" : proxymeta, } # 设置ip切换头 tunnel = random.randint(1,10000) headers = {"proxy-tunnel": str(tunnel)} resp = requests.get(targeturl, proxies=proxies, headers=headers) print resp.status_code print resp.text
要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。