欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

初探python——代理

程序员文章站 2022-06-21 22:52:50
代理:破解封IP这种反爬机制。什么是代理:- 代理服务器。代理的作用:- 突破自身IP访问的限制。- 隐藏自身真实IP代理相关的网站:- 快代理- 西祠代理- www.goubanjia.com代理ip的类型:- http:应用到http协议对应的url中- https:应用到https协议对应的url中代理ip的匿名度:- 透明:服务器知道该次请求使用了代理,也知道请求对应的真实ip- 匿名:知道使用了代理,不知道真实ip- 高匿:不知道使用了代理,更不知道真实的ip示例...

代理:破解封IP这种反爬机制。
什么是代理:
- 代理服务器。
代理的作用:
- 突破自身IP访问的限制。
- 隐藏自身真实IP
代理相关的网站:
- 快代理
- 西祠代理
- www.goubanjia.com
代理ip的类型:
- http:应用到http协议对应的url中
- https:应用到https协议对应的url中

代理ip的匿名度:
- 透明:服务器知道该次请求使用了代理,也知道请求对应的真实ip
- 匿名:知道使用了代理,不知道真实ip
- 高匿:不知道使用了代理,更不知道真实的ip

示例如下:

#需求:
import requests
url = 'https://www.baidu.com/s?wd=ip'
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}

page_text = requests.get(url=url,headers=headers,proxies={"https":'222.110.147.50:3128'}).text

with open('ip.html','w',encoding='utf-8') as fp:
    fp.write(page_text)

#反爬机制:  封ip
#反反爬策略:使用代理进行请求发送

本文地址:https://blog.csdn.net/Alingyuzi/article/details/107675080

相关标签: python