欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python爬虫6-利用ProxyHandler设置代理服务器

程序员文章站 2022-12-24 12:32:32
GitHub代码练习地址:https://github.com/Neo-ML/PythonPractice/blob/master/SpiderPrac09_ProxyHandler.pyProxyHandler处理(代理服务器) 使用代理IP,是爬虫的常用手段提供代理服务器的地址有很多,例如: w ......
github代码练习地址:https://github.com/neo-ml/pythonpractice/blob/master/spiderprac09_proxyhandler.py

proxyhandler处理(代理服务器)

使用代理ip,是爬虫的常用手段
提供代理服务器的地址有很多,例如:
www.xicidaili.com
www.goubanjia.com
代理用来隐藏在真实访问中,即使是代理也不允许频繁访问某一个固定网站,所以,代理一定要很多很多

基本使用步骤:
1. 设置代理地址
2. 创建proxyhandler
3. 创建opener
4. 安装opener