欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python爬虫(2):urllib库

程序员文章站 2022-10-06 12:50:12
爬虫常用库urllib 注:运行环境为PyCharm urllib是Python3内置的HTTP请求库 urllib.request:请求模块 urllib.error:异常处理模块 urllib.parse:url解析模块 urllib.robotparse:robot.txt解析模块 1、url ......

爬虫常用库urllib

注:运行环境为pycharm

urllib是python3内置的http请求库

urllib.request:请求模块

urllib.error:异常处理模块

urllib.parse:url解析模块

urllib.robotparse:robot.txt解析模块

1、urllib.request.urlopen(url, data=none, [timeout]*, cafile=none, cadefault=false,content=none)

url:请求网址

data:请求时需要发送的数据

timeout:超时设置

from urllib import request

# 请求获取网页返回内容
response = request.urlopen('https://www.toutiao.com/')
# 获取网页返回内容
print(response.read().decode('utf-8'))
# 获取状态码
print(response.status)
# 获取请求头
print(response.getheaders())
# 对请求头进行遍历
for k, v in response.getheaders():
    print(k, '=', v)

当爬去一些反爬网站时,需要适当地增加请求头进行请求要用到request对象。

2、error.urlerror:url的一些问题,这个异常只有一个reason属性

     error.httperror:error.urlerror的子类,在与上面的混合使用时需要将这个异常放到前面,这个异常是一些请求错误,有三个方法,.reason(), .code(), .headers(),在捕捉异常时通常先使用这个

3、urllib.parse.urlparse(url,scheme=‘’,allow_fragments=true)

     解析url

from urllib import request, parse
# 解析url
print(parse.urlparse('https://movie.douban.com/'))
print(parse.urlparse('https://movie.douban.com/', scheme='http'))
print(parse.urlparse('movie.douban.com/', scheme='http'))

结果:
parseresult(scheme='https', netloc='movie.douban.com', path='/', params='', query='', fragment='')
parseresult(scheme='https', netloc='movie.douban.com', path='/', params='', query='', fragment='')
parseresult(scheme='http', netloc='', path='movie.douban.com/', params='', query='', fragment='')

反解析url

from urllib import parse
# 将列表元素拼接成url
url = ['http', 'www', 'baidu', 'com', '1554384640', 'f2b8183cd1e469a'] # 这里至少需要6个元素
print(parse.urlunparse(url))

结果:
http://www/baidu;com?1554384640#f2b8183cd1e469a

 

 

参考资料:

1、python爬虫常用库之urllib详解|日常学python:https://mp.weixin.qq.com/s?src=11&timestamp=1554382467&ver=1526&signature=fjepqc9qswpe2fwjtxmnruth3gx5vz0jpbqyzbeqqmhhfbj462b*jk0wpxyujxp6dup63tu8g0hqpv9sdwllrgvr0frraerqe4fy-6oqe5zzxuxrniw508nhnqdnq*be&new=1