欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python-快速使用urllib爬取网页(2-Headers属性)

程序员文章站 2022-05-03 20:06:03
...

有时候,我们无法爬取一些网页,出现403错误,因为这些网页为了防止别人恶意采集进行了一些反爬虫设置

可是我们想爬取这些信息,怎么办?
设置一些Headers属性,模拟成浏览器去访问这些网站,就解决了这个问题了

首先我们要获得所要爬取网页的User-Agent信息
在所要爬取的网页的地址栏里输入
about:version
我们就找到了用户代理的字符串信息
我们将其复制出来
形式如下所示:

Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE

两种方法让爬虫模拟成浏览器访问网页的设置方法
1、使用build_opener()修改报头
由于urlopen()不支持HTTP的高级功能,所以,如果我们要修改报头,可以使用urllib.request.build_opener()进行

url = "http://baidu.com" #爬取网页的url

headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")

opener = urllib.request.build_opener()

opener.addheaders = [headers]

data = opener.open(url).read()
print(data)

url:爬取的网页地址
headers:存储User-Agent信息
opener:创建一个opener对象
opener.addheaders:设置对象的头信息
采用此对象打开网页,我们现在的打开操作已经是具有头信息的打开操作行为,就是说会模仿浏览器去打开

将数据写入本地文件

fhandle = open("D:/python3.5/1.html","wb")
fhandle.write(data)
fhandle.close()

爬取成功

# coding=utf-8
import urllib.request

url = "http://baidu.com" #爬取网页的url
headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")

opener = urllib.request.build_opener()

opener.addheaders = [headers]

data = opener.open(url).read()

fhandle = open("D:/python3.5/1.html","wb")
fhandle.write(data)
fhandle.close()

2、使用add_header()添加报头

# coding=utf-8
import urllib.request

url = "http://baidu.com" #爬取网页的url

req = urllib.request.Request(url)
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")

data = urllib.request.urlopen(req).read()
print(data)

url:爬取的网页地址
rep:创建一个request对象
req.add_header:添加对应的报头信息
data:打开该request对象即打开了网址并读取内容

总结:
a、将爬出信息存入本地文件的两种方法

#将爬取内容读入本地文件的第一种方法
fhandle=open("D:/python3.5/1.html","wb")
fhandle.write(get)
fhandle.close()

#将爬取内容读入本地文件的第二种方法
filename=urllib.request.urlretrieve("http://www.baidu.com",filename="D:/python3.5/2.html")
#urllib.request.urlcleanup()

b、面对反爬虫网页的两种模拟浏览器访问网站从而爬取的两种方法

# coding=utf-8
#第一种方法
import urllib.request

url = "http://baidu.com" #爬取网页的url

req = urllib.request.Request(url)

req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")

data = urllib.request.urlopen(req).read()
print(data)


# coding=utf-8
#第一二种方法
import urllib.request

url = "http://baidu.com" #爬取网页的url

#headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")

#opener = urllib.request.build_opener()

#opener.addheaders = [headers]

#data = opener.open(url).read()