python爬虫，urllib请求库使用

urllib库是Python内置的HTTP请求库。包含如下4个模块。

1. request：它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样，只需要给库方法传入URL以及额外的参数，就可以模拟实现这个过程了。
2. error：异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作以保证程序不会意外终止。
3. parse：一个工具模块，提供了许多URL处理方法，比如拆分、解析、合并等。
4. robotparser：主要是用来识别网站的robots.txt文件，然后判断哪些网站可以爬，哪些网站不可以爬，用得比较少。

1 发送请求

1.1 User Agent和代理IP隐藏身份

User Agent的中文名为用户代理，简称UA。

常见的User Agent：

1. Android
   Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19

2. Firefox
   Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0

3. Google Chrome
   Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36

4. iOS
   Mozilla/5.0 (iPad; CPU OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A334 Safari/7534.48.3

1.2 urllib.request模块

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) 

urllib.request提供了最基本的构造HTTP请求的方法

模拟浏览器的一个请求发起过程，同时它还带有处理授权验证（authenticaton）、重定向（redirection)、浏览器Cookies以及其他内容。

from urllib import request if __name__ == "__main__": # 向指定的url发送请求，并返回服务器响应的类文件对象 response = request.urlopen("https://my.alipay.com/portal/i.htm") html = response.read() print(html.decode('utf-8')) 

1. urlopen()返回的对象为HTTPResposne类型，可以使用read()进行读取，调用status属性可以得到返回结果的状态码
2. 同样也可以使用geturl()方法、info()方法、getcode()方法。 geturl()返回的是一个url的字符串；
3. info()返回的是一些meta标记的元信息，包括一些服务器的信息
4. getcode()返回的是HTTP的状态码，如果返回200表示请求成功。

1.3 urllib.request.Request模块

请求中需要加入Headers等信息，就可以利用更强大的Request类来构建

urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None) 

1. 第一个参数url用于请求URL，这是必传参数，其他都是可选参数。
2. 第二个参数data如果要传，必须传bytes（字节流）类型的。如果它是字典，可以先用urllib.parse模块里的urlencode()编码。
3. 第三个参数headers是一个字典，它就是请求头，我们可以在构造请求时通过headers参数直接构造，也可以通过调用请求实例的add_header()方法添加
4. 第四个参数origin_req_host指的是请求方的host名称或者IP地址。
5. 第五个参数unverifiable表示这个请求是否是无法验证的，默认是False，意思就是说用户没有足够权限来选择接收这个请求的结果。例如，我们请求一个HTML文档中的图片，但是我们没有自动抓取图像的权限，这时unverifiable的值就是True。
6. 第六个参数method是一个字符串，用来指示请求使用的方法，比如GET、POST和PUT等。

from urllib import request, parse
url = 'http://httpbin.org/post' headers = { 'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)', 'Host': 'httpbin.org' } dict = { 'name': 'Germey' } data = bytes(parse.urlencode(dict), encoding='utf8') req = request.Request(url=url, data=data, headers=headers, method='POST') response = request.urlopen(req) print(response.read().decode('utf-8')) 

headers也可以用add_header()方法来添加

req = request.Request(url=url, data=data, method='POST') req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)') 

1.4 Handler

urllib.request模块里的BaseHandler类，它是所有其他Handler的父类，它提供了最基本的方法

1. HTTPDefaultErrorHandler：用于处理HTTP响应错误，错误都会抛出HTTPError类型的异常。
2. HTTPRedirectHandler：用于处理重定向。
3. HTTPCookieProcessor：用于处理Cookies。
4. ProxyHandler：用于设置代理，默认代理为空。
5. HTTPPasswordMgr：用于管理密码，它维护了用户名和密码的表。
6. HTTPBasicAuthHandler：用于管理认证，如果一个链接打开时需要认证，那么可以用它来解决认证问题。

1.5 OpenerDirector

称为Opener，urlopen()实际上就是urllib提供的一个Opener，Request和urlopen()相当于类库为你封装好了极其常用的请求方法，利用它们可以完成基本的请求，需要实现更高级的功能需要深入一层进行配置，使用更底层的实例来完成操作，就用到了Opener，Handler来构建Opener

1.5.1 代理设置

利用这个Handler及build_opener()方法构造一个Opener，之后发送请求即可

from urllib.error import URLError from urllib.request import ProxyHandler, build_opener

proxy_handler = ProxyHandler({ 'http': 'http://127.0.0.1:9743', 'https': 'https://127.0.0.1:9743' }) opener = build_opener(proxy_handler) try: response = opener.open('https://www.baidu.com') print(response.read().decode('utf-8')) except URLError as e: print(e.reason) 

1.5.2 Cookies

将网站的Cookies获取下来
声明一个CookieJar对象，利用HTTPCookieProcessor来构建一个Handler，最后利用build_opener()方法构建出Opener，执行open()函数

1. 变量方式保存

import http.cookiejar, urllib.request

cookie = http.cookiejar.CookieJar() handler = urllib.request.HTTPCookieProcessor(cookie) opener = urllib.request.build_opener(handler) response = opener.open('http://www.baidu.com') 

2. 文本形式保存
   CookieJar需要换成MozillaCookieJar，它在生成文件时会用到，是CookieJar的子类，可以用来处理Cookies和文件相关的事件，将Cookies保存成Mozilla型浏览器的Cookies格式

filename = 'cookies.txt' cookie = http.cookiejar.MozillaCookieJar(filename) handler = urllib.request.HTTPCookieProcessor(cookie) opener = urllib.request.build_opener(handler) response = opener.open('http://www.baidu.com') cookie.save(ignore_discard=True, ignore_expires=True) 

读取cookies

cookie = http.cookiejar. MozillaCookieJar () cookie.load('cookies.txt', ignore_discard=True, ignore_expires=True) handler = urllib.request.HTTPCookieProcessor(cookie) opener = urllib.request.build_opener(handler) response = opener.open('http://www.baidu.com') print(response.read().decode('utf-8')) 

2 处理异常

urllib的error模块定义了由request模块产生的异常。如果出现了问题，request模块便会抛出error模块中定义的异常
urllib.error有两个方法，URLError和HTTPError。
URLError是OSError的一个子类，HTTPError是URLError的一个子类，服务器上HTTP的响应会返回一个状态码，根据这个HTTP状态码，我们可以知道我们的访问是否成功。

2.1 URLError

由request模块生的异常都可以通过捕获这个类来处理，属性reason，返回错误的原因

from urllib import request, error try: response = request.urlopen('http://cuiqingcai.com/index.htm') except error.URLError as e: print(e.reason) 

2.2 HTTPError

专门用来处理HTTP请求错误，比如认证请求失败等，有如下3个属性

1. code：返回HTTP状态码，比如404表示网页不存在，500表示服务器内部错误等。
2. reason：同父类一样，用于返回错误的原因。
3. headers：返回请求头。

from urllib import request,error try: response = request.urlopen('http://cuiqingcai.com/index.htm') except error.HTTPError as e: print(e.reason, e.code, e.headers, sep='\n') 

2.3 URLError和HTTPError混合使用

#URLError url = 'http://www.iloveyou.com/' # 一个不存在的连接 #HTTPError # 请求的资源没有在服务器上找 到,www.douyu.com这个服务器是存在的，但是我们要查找的Jack.html资源是没有的 url = 'http://www.douyu.com/Jack.html' req = request.Request(url) try: response = request.urlopen(req) except error.URLError as e: print(e.reason) except error.HTTPError as e: print(e.code) 

如果想用HTTPError和URLError一起捕获异常，那么需要将HTTPError放在URLError的前面，因为HTTPError是URLError的一个子类。如果URLError放在前面，出现HTTP异常会先响应URLError，这样HTTPError就捕获不到错误信息了。
也可以使用hasattr函数判断URLError含有的属性，如果含有reason属性表明是URLError，如果含有code属性表明是HTTPError

3 解析链接

urllib库里还提供parse模块，定义了处理URL的标准接口

3.1 urlparse()

实现URL的识别和分段，根据分隔符将URL拆分

result = urlparse('http://www.baidu.com/index.html#comment', allow_fragments=False) print(result) 

运行结果如下：

ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html#comment', params='', query='', fragment='') 

3.2 urlunparse()

实现URL的构造，接受的参数是一个可迭代对象，但是它的长度必须是6，否则会抛出参数数量不足或者过多的问题

data = ['http', 'www.baidu.com', 'index.html', 'user', 'a=6', 'comment'] 

3.3 urlsplit()

和urlparse()方法非常相似，只不过它不再单独解析params这一部分，只返回5个结果。

3.4 urljoin()

生成链接，提供一个base_url（基础链接）作为第一个参数，将新的链接作为第二个参数，该方法会分析base_url的scheme、netloc和path这3个内容并对新链接缺失的部分进行补充，最后返回结果

urljoin('http://www.baidu.com', 'FAQ.html') 

3.5 urlencode()

params = { 'name': 'germey', 'age': 22 } base_url = 'http://www.baidu.com?' url = base_url + urlencode(params) 

声明一个字典来将参数表示出来，然后调用urlencode()方法将其序列化为GET请求参数

3.6 parse_qs()

GET请求参数，利用parse_qs()方法，就可以将它转回字典

3.7 parse_qsl()

将参数转化为元组组成的列表

query = 'name=germey&age=22' print(parse_qsl(query)) 

运行结果如下：

[('name', 'germey'), ('age', '22')] 

3.8 quote()

URL中带有中文参数时，有时可能会导致乱码的问题，此时用这个方法可以将中文字符转化为URL编码

keyword = '壁纸' url = 'https://www.baidu.com/s?wd=' + quote(keyword) print(url) 

运行结果如下：

https://www.baidu.com/s?wd=%E5%A3%81%E7%BA%B8 

3.9 unquote()

进行URL解码

url = 'https://www.baidu.com/s?wd=%E5%A3%81%E7%BA%B8' print(unquote(url)) 

4 Robots协议

Robots协议也称作爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫作robots.txt的文本文件，一般放在网站的根目录下。

当搜索爬虫访问一个站点时，它首先会检查这个站点根目录下是否存在robots.txt文件，如果存在，搜索爬虫会根据其中定义的爬取范围来爬取。如果没有找到这个文件，搜索爬虫便会访问所有可直接访问的页面。

User-agent: *    
Disallow: /
Allow: /public/ 

1. User-agent描述了搜索爬虫的名称，这里将其设置为*则代表该协议对任何爬取爬虫有效。
2. Disallow指定了不允许抓取的目录，比如上例子中设置为/则代表不允许抓取所有页面。若全部允许，设置为空
3. Allow一般和Disallow一起使用，一般不会单独使用，用来排除某些限制。设置为/public/，则表示所有页面不允许抓取，但可以抓取public目录。

4.1 robotparser

该模块提供了一个类RobotFileParser，它可以根据某网站的robots.txt文件来判断一个爬取爬虫是否有权限来爬取这个网页。

urllib.robotparser.RobotFileParser(url='') 

也可以在声明时不传入，默认为空，最后再使用set_url()方法设置

1. set_url()：用来设置robots.txt文件的链接。如果在创建RobotFileParser对象时传入了链接，那么就不需要再使用这个方法设置了。
2. read()：读取robots.txt文件并进行分析。注意，这个方法执行一个读取和分析操作，如果不调用这个方法，接下来的判断都会为False，所以一定记得调用这个方法。这个方法不会返回任何内容，但是执行了读取操作。
3. parse()：用来解析robots.txt文件，传入的参数是robots.txt某些行的内容，它会按照robots.txt的语法规则来分析这些内容。
4. can_fetch()：该方法传入两个参数，第一个是User-agent，第二个是要抓取的URL。返回的内容是该搜索引擎是否可以抓取这个URL，返回结果是True或False。
5. mtime()：返回的是上次抓取和分析robots.txt的时间，这对于长时间分析和抓取的搜索爬虫是很有必要的，你可能需要定期检查来抓取最新的robots.txt。
6. modified()：它同样对长时间分析和抓取的搜索爬虫很有帮助，将当前时间设置为上次抓取和分析robots.txt的时间。

from urllib.robotparser import RobotFileParser
rp = RobotFileParser() rp.set_url('http://www.jianshu.com/robots.txt') rp.read() print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d')) print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections")) 

本文地址：https://blog.csdn.net/Margaret_L/article/details/108242362