欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python爬虫技术:爬虫时如何知道是否代理ip伪装成功?

程序员文章站 2023-10-29 10:06:10
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 python爬虫时如何知道是否代理ip伪装成功: 有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代 ......

 

前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

python爬虫时如何知道是否代理ip伪装成功:

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。
ps:如有需要python爬虫+数据分析学习资料的粉丝可以点击下方链接自行获取

python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targeturl = "http://httpbin.org/ip"
 # 要访问的目标https页面
 # targeturl = "https://httpbin.org/ip"
 # 代理服务器
 proxyhost = "t.16yun.cn"
 proxyport = "31111"
 # 代理隧道验证信息
 proxyuser = "16zkbrlb"
 proxypass = "234076"
 proxymeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyhost,
 "port" : proxyport,
 "user" : proxyuser,
 "pass" : proxypass,
 }
 # 设置 http和https访问都是用http代理
 proxies = {
 "http" : proxymeta,
 "https" : proxymeta,
 }
 # 设置ip切换头
 tunnel = random.randint(1,10000)
 headers = {"proxy-tunnel": str(tunnel)}
 resp = requests.get(targeturl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。