欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Requests爬虫

程序员文章站 2022-04-04 21:40:19
一、request入门 之前写过一个urllib的爬虫方法,这个库是python内建的,从那篇文章也可以看到,使用起来很繁琐。现在更流行的一个爬虫库就是requests,他是基于urllib3封装的,也就是将之前比较繁琐的步骤封装到一块,更适合人来使用。 该库中主要有7个方法:request() g ......

一、request入门

  之前写过一个urllib的爬虫方法,这个库是python内建的,从那篇文章也可以看到,使用起来很繁琐。现在更流行的一个爬虫库就是requests,他是基于urllib3封装的,也就是将之前比较繁琐的步骤封装到一块,更适合人来使用。

  该库中主要有7个方法:request() get() head() post() put() patch() delete()   他们的作用也就是他们的字面意思(例如:get获取网页信息,post提交信息等等),具体的可以自行查询。

  下面先从最简单的使用开始,尽可能的用例子展示他都可以干什么。

1 import requests
2 
3 r = requests.get("https://www.icourse163.org/home.htm?userid=1021614219#/home/course")  # get方法,从网页上获取信息
4 r.status_code  # http请求的返回状态,为200时表示正常访问
5 
6 print(r.encoding)  # 从httpheader中猜测的响应内容编码方式
7 print(r.apparent_encoding)  # 从内容分析出响应内容编码方式(备选编码方式)

  上面使用get方法就已经得到了网页信息,返回值时200。r字母代表着response,也就是访问网页的响应。网页内的信息可能会有汉字等等,为了方便以后使用,在开始就先说明一下这个,encoding和apparent_encoding在上面解释了,最后是为了使用一个可以把网页正确解析的编码格式。

  一般来说,可以使用r.encoding = 'utf-8'或者r.encoding = r.apparent_encoding。

1 # 已经访问到了网页,那么就要看一下提取到的内容
2 
3 r.text  # http响应内容的字符串形式,url对应的页面内容
4 
5 r.headers  # 返回响应的头部信息
6 
7 r.content  # http响应内容的二进制形式
8 
9 r.json  # 返回json格式,需要提前导入json包

  其中二进制格式,可以方便的存储一些图片格式等等的数据,例如需要下载一个照片,可以使用‘wb’格式写到文件当中,当然也可以直接使用库中的方法。

二、异常处理

  在我们爬取一些网页的时候,经常会遇到一系列的问题,访问不到页面,禁止访问之类的,或者一些自身代码的一些问题。如果代码量很多,或者具体一点,比如正在从网站爬取一些照片。当跑到其中一张图片时没有正常的访问到,那么整个程序就卡在这里了。后续的照片也就无法爬取了。这当然不是我们想要的,因此就需要一些对异常的处理,让他出现异常时,继续执行后续的程序。异常捕获在python的基础里面已经有了,就是用那个在这里应用一下。

 1 import requests
 2 from requests.exceptions import readtimeout, connectionerror, requestexception
 3 try:
 4     response = requests.get("http://httpbin.org/get", timeout = 0.5)
 5     print(response.status_code)
 6 except readtimeout:
 7     print('timeout')
 8 except connectionerror:
 9     print('connection error')
10 except requestexception:
11     print('error')

  如果是刚接触的人可能看到这么多长串的字符有些记不清,其实也可以先不去管他是什么样的异常,只要是异常就反馈回来。

  response.raise_for_status()   这个方法可以捕获异常,使得出现异常时就会跳到except中执行,而不影响整体进程。下面是一个通用的格式来捕获异常。

 1 import requests
 2 
 3 def gethtmltext(url):
 4     try:
 5         r = requests.get(url)
 6         r.raise_for_status()  # 如果状态不是200,引发httperror异常
 7         r.encoding = r.apparent_encoding  # 不论headers中是否要求编码格式,都从内容中找到实际编码格式,确保顺利解码
 8         return r.text
 9     except:
10         return '产生异常'
11 if __name__ == "__main__":
12     url = "http://baidu.com"
13     print(gethtmltext(url))

三、插一个小栗子

  爬取京东上面商品的页面。理一下思路:

  首先要导入网络请求的包(requests)-->通过get方法访问网页-->捕获一下异常看看是否正常访问到页面-->如果返回200,确定编码格式-->通过response.text查看一下得到的内容是不是想要的。

1 import requests
2 url = "https://item.jd.com/8578888.html"
3 try:
4     r = requests.get(url)
5     r.raise_for_status()
6     r.encoding = r.apparent_encoding
7     print(r.text[:500])  # 由于网页内容比较多,[:500] 表示只看其从0到500个字节的内容
8 except:
9     print("爬取失败")

四、模拟浏览器

  上面访问的网站并没有什么防护,但是现在越来越多的网站都是有各种各样的反爬虫机制,其中一种简单的方法就是通过发送请求时头文件中的内容来判断。通过response.headers可以找到访问时候的user-agent为requests,也就是告诉网站是通过爬虫来访问的。这么明显,当然有些网站会阻止访问。这时候有一个办法,就是用一个浏览器来模拟一下,替换掉user-agent中的内容。网上搜会有很多,或者直接从你电脑上的浏览器中检查,来查看你的浏览器在访问网页时显示的user-agent是什么样的。

  通过headers,传入一个字典,例如:{"user-agent": "mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/39.0.2171.95 safari/537.36 opr/26.0.1656.60"}

  其实,如果还不放心的话,可以搜一些user-agent,每次通过随机抽取其中的一个来访问网页,来避免被网站发现。

  下面套用上面给出的框架来写这个爬虫:

 1 # 模拟浏览器爬取信息
 2 import requests
 3 url = "https://www.amazon.cn/dp/b074bnfy1h/ref=cngwdyfloorv2_recs_0?pf_rd_p=d0690322-dfc8-4e93-ac2c-8e2eeacbc49e&pf_rd_s=desktop-2&pf_rd_t=36701&pf_rd_i=desktop&pf_rd_m=a1aj19psb66tgu&pf_rd_r=2jdnvb7yd5zf07yqsrq6&pf_rd_r=2jdnvb7yd5zf07yqsrq6&pf_rd_p=d0690322-dfc8-4e93-ac2c-8e2eeacbc49e"
 4 try:
 5     headers = {"user-agent": "mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/39.0.2171.95 safari/537.36 opr/26.0.1656.60"}
 6     r = requests.get(url, headers = headers)
 7     print(r.request.headers) # 起初发现503错误,因为亚马逊会限制爬虫,当使用爬虫时,会在头部显示request代理。因此用一个新的user-agent代替原来的
 8     r.raise_for_status()
 9     r.encoding = r.apparent_encoding
10     print(r.text[:500])
11 except:
12     print("爬取失败")

五、超时设置

1 # 当访问长时间未响应时就不再等待,因为毕竟爬虫时为了提高效率
2 import requests
3 from requests.exceptions import readtimeout
4 try:
5     response = requests.get("http://httpbin.org/get", timeout = 0.5)
6     response.raise_for_status()
7 except:
8     print('timeout')

六、ip代理

 1 # 在访问网站时有可能你没有遵守该robots协议,面临被封ip的风险,这样该ip就不能再访问了,大概过段时间才把你从黑名单中拿出来,这时候就用到了ip代理,这个大概介绍一下,因为本人也是初学,能力有限
 2 
 3 import requests
 4 
 5 proxies = {
 6   "http": "***************" 7 }
 8 
 9 response = requests.get("https://www.taobao.com", proxies=proxies)
10 print(response.status_code)

七、cookie

  这是浏览器缓存,就是我们在之前访问过该网站后,后留下一下脚印,例如之前请求到的一些信息,或者提交,比如需要登录的网站,短时间内再次进入时候不需要再次输入账户密码。因此http请求要从很远的服务器中拉取你要的信息,当然效率不会很高,所以,他就会在本地的浏览器中暂且保留一段时间的信息,这段时间内登录就是从本地来得到网页响应,也会相对快一些。

  在爬虫的时候,尤其是需要登录才能访问的页面,为了让他可以自动化的一直爬取信息,就可以预先找到登录后在该网页留下的脚印,来放到你的爬虫里,让其自动登录爬取。

1 import requests
2 
3 response = requests.get("https://www.baidu.com")
4 print(response.cookies)  # 可以直接调用方法得到当前访问页面时的cookie

  在需要登录的网页时,我们需要同时请求多个端口来实现,可以用到requests.session(),看一个例子体会一下。

1 import requests
2 
3 s = requests.session()
4 s.get('http://httpbin.org/cookies/set/****/*****')
5 response = s.get('http://httpbin.org/cookies')  # 在访问页面的同时打开之前的cookie请求。如果使用requests的get方法的话,你会发现,第一次请求之后,第二次的get是开启的一个新的请求,而不是针对同一个对象,因此不能实现
6 print(response.text)

  这点东西并没有讲清楚,待我再好好学一下再解释。