python网络爬虫（一）

python网络爬虫

注:

• 本文是本人乱写的,仅供参考,如有雷同,不胜荣幸
• 本人刚刚入门，有很多错误和不懂的地方，也请各位多多指正

Requests库

>>>import requests
>>>demo = requests.get("URL")
>>>print (demo.status_code)
200#若状态码不为200均为失败
>>>demo.text

Request库的主要方法

方法	说明
requests.request()	构造一个请求,支撑以下各种方法
requests.get()	获取HTML网页的主要方法,对应于HTTP的GET
requests.head()	获取HTML网页头信息的方法,对应于HTTP的HEAD
requests.post()	向HTML网页提交POST请求的方法,对应于HTTP的POST
requests.put()	向HTML网页提交PUT请求的方法,对应于HTTP的PUT
requests.patch()	向HTML网页提交局部修改请求,对应于HTTP的PATCH
requests.delete()	向HTML页面提交删除请求,对应于HTTP的DELETE

requests.get(url,params=None,**kwargs)

• url:拟获取页面的url链接
• params:url中的额外参数,字典或字节流格式,可选填
• **kwargs:12个控制访问参数

Request库的两个重要对象

demo =requests.get(url)

Response: demo
Request: url
Response对象包含爬虫返回的内容

Response对象

>>>import requests
>>>demo = requests.get("http://www.baidu.com")
>>>print(r.status_code)
200
>>>type(demo)
<class 'requests.models.Response>
>>>demo.headers
.....

Response对象包含服务器返回的所有信息,也包含请求的Request信息

Responese对象

属性	说明
demo.status_code	HTTP请求的返回状态,200表示连接成功,404表示失败
demo.text	HTTP响应内容的字符串形式,即,url对应的页面内容
r.encoding	从HTTP header中猜测的响应内容编码方式
r.apparent_encoding	从内容中分析出的响应内容编码方式(备选编码方式)
r.content	HTTP响应内容的二进制形式

Responese编码

demo.encoding #从HTTP header中猜测的响应内容的编码方式
demo.apparent_encoding #从内容中分析出的相应编码的方式(备选编码方式)

• demo.encodingn:如果header中不存在charset,则默认编码为ISO-8859-1 demo.text根据demo.encoding来显示网页内容
• demo.apparent_encoding:根据网页内容分析出编码模式,可认为是demo.encoding的备用选项

爬取网页通用代码框架

import requests

def getHTML(url):
	try:
    demo = requests.get(url,timeout=30)
    demo.raise_for_status()#若状态码不为200,则为异常情况
    demo.encoding = demo.apparent_encoding
    return demo.text
   expect:
   	return "异常"
 
 if __name__=="__main__"
 	url="http://www.baidu.com"
    print(getHTML(url))

Requests库主要方法

方法	说明
requests.request()	构造一个请求,支撑以下各方法的基础方法
requests.get()	获取HTML网页的主要方法,对应于HTTP的GET
requests.head()	获取HTML网页头信息的方法,对应于HTTP的HEAD
requests.post()	向HTML网页提交POST请求的方法,对应于HTTP的POST
requests.put()	向HTML网页提交PUT请求的方法,对应于HTTP的PUT
requests.patch()	向HTML网页提交局部修改请求,对应于HTTP的PATCH
requests.delete()	向HTML页面提交删除请求,对应于HTTP的DELETE