【python】urllib库（爬虫）

urllib库
模拟浏览器行为向指定服务器发送一个请求，并可以保存服务器返回来的数据。
urlopen函数
对HTTPResponse类型数据进行操作

from urllib import request
resp = resquest.urlopen('http://www.baidu.com')
print(resp.read())
print(resp.readline())#读取一行
print(resp.readlines())#读取多行
print(getcode())#返回状态码

urlretrieve函数
把网页上的一个文件保存到本地

from urllib import request
request.urlretrieve('http://www.baidu.com/','baidu.html')

urlencode函数
将字符串以URL编码，用于编码处理。

from urllib import parse
data = {'name':'小明'，"age":18,'greet':"hello world"}
result = parse.urlencode(data)
print(result)

parse_qs函数
解码

from urllib import parse
qs = {'name':'小明'，"age":18,'greet':"hello world"}
qs = parse.parse_qs(qs)
print(qs)

urlparse 和 urlspit函数
对得到的url中的各个部分进行分割（urlparse 比 urlspit多一个params属性）

from urllib import parse
url = 'http://www.baidu.com/s?wd=python fusename=abc#1'
result = parse.urlpase(url)
print(result)

先简单介绍到这里。慢慢学习进行补充。