python-快速使用urllib爬取网页(2-Headers属性)
有时候,我们无法爬取一些网页,出现403错误,因为这些网页为了防止别人恶意采集进行了一些反爬虫设置
可是我们想爬取这些信息,怎么办?
设置一些Headers属性,模拟成浏览器去访问这些网站,就解决了这个问题了
首先我们要获得所要爬取网页的User-Agent信息
在所要爬取的网页的地址栏里输入 about:version
我们就找到了用户代理的字符串信息
我们将其复制出来
形式如下所示:
Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE
两种方法让爬虫模拟成浏览器访问网页的设置方法
1、使用build_opener()修改报头
由于urlopen()不支持HTTP的高级功能,所以,如果我们要修改报头,可以使用urllib.request.build_opener()进行
url = "http://baidu.com" #爬取网页的url
headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")
opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()
print(data)
url:爬取的网页地址
headers:存储User-Agent信息
opener:创建一个opener对象
opener.addheaders:设置对象的头信息
采用此对象打开网页,我们现在的打开操作已经是具有头信息的打开操作行为,就是说会模仿浏览器去打开
将数据写入本地文件
fhandle = open("D:/python3.5/1.html","wb")
fhandle.write(data)
fhandle.close()
爬取成功
# coding=utf-8
import urllib.request
url = "http://baidu.com" #爬取网页的url
headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")
opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()
fhandle = open("D:/python3.5/1.html","wb")
fhandle.write(data)
fhandle.close()
2、使用add_header()添加报头
# coding=utf-8
import urllib.request
url = "http://baidu.com" #爬取网页的url
req = urllib.request.Request(url)
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")
data = urllib.request.urlopen(req).read()
print(data)
url:爬取的网页地址
rep:创建一个request对象
req.add_header:添加对应的报头信息
data:打开该request对象即打开了网址并读取内容
总结:
a、将爬出信息存入本地文件的两种方法
#将爬取内容读入本地文件的第一种方法
fhandle=open("D:/python3.5/1.html","wb")
fhandle.write(get)
fhandle.close()
#将爬取内容读入本地文件的第二种方法
filename=urllib.request.urlretrieve("http://www.baidu.com",filename="D:/python3.5/2.html")
#urllib.request.urlcleanup()
b、面对反爬虫网页的两种模拟浏览器访问网站从而爬取的两种方法
# coding=utf-8
#第一种方法
import urllib.request
url = "http://baidu.com" #爬取网页的url
req = urllib.request.Request(url)
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")
data = urllib.request.urlopen(req).read()
print(data)
# coding=utf-8
#第一二种方法
import urllib.request
url = "http://baidu.com" #爬取网页的url
#headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")
#opener = urllib.request.build_opener()
#opener.addheaders = [headers]
#data = opener.open(url).read()
上一篇: 爬虫基础5:urllib库使用
下一篇: python:字符串的使用方法(大全)
推荐阅读
-
python-快速使用urllib爬取网页(4-GET)
-
python-快速使用urllib爬取网页(8-URLError)
-
python-快速使用urllib爬取网页(7-DebugLog)
-
python-快速使用urllib爬取网页(2-Headers属性)
-
Python使用urllib,urllib3,requests库爬取网页
-
01精通Python网络爬虫——快速使用Urllib爬取网页
-
python-快速使用urllib爬取网页(1)
-
python-快速使用urllib爬取网页(3-超时异常)
-
Python爬虫学习之路(一)—— 使用Urllib爬取网页
-
01Python爬虫---快速使用Urllib爬取网页