python-快速使用urllib爬取网页（7-DebugLog）

有时我们希望在程序运行的过程中，边运行边打印调试日志信息，此时需要开启DeugLog

如何开启DebugLog那？
1、分别使用urllib.request.HTTPHandler()和urllib.request.HTTPSHandler()将debuglevel设置为1
2、使用urllib.request.build_opener（）创建自定义的opener对象，并将1中值作为参数
3、用urllib.request.install_opener（）创建全局默认的opener对象
4、后续操作

# coding=utf-8

import urllib.request

httphd = urllib.request.HTTPHandler(debuglevel=1)
httpshd = urllib.request.HTTPSHandler(debuglevel=1)

opener = urllib.request.build_opener(httphd,httpshd)
urllib.request.install_opener(opener)

data = urllib.request.urlopen("http://www.baidu.com")

通过上面代码，我们可以从执行结果中看到开启了DebugLog

send: b'GET / HTTP/1.1\r\nAccept-Encoding: identity\r\nHost: www.baidu.com\r\nUser-Agent: Python-urllib/3.6\r\nConnection: close\r\n\r\n'
reply: 'HTTP/1.0 200 OK\r\n'
header: Server header: Cache-Control header: Pragma header: Content-Type header: Content-Encoding header: Content-Length header: Set-Cookie 
Process finished with exit code 0