爬虫第三课---reuqests
程序员文章站
2022-05-08 09:59:25
...
'''
第三方库,需要安装,pip install requests
1.请求
'''
import requests
requests.get() # get请求,如果get中有请求参数。我们使用如下
params = {'wd': 'python'}
url = 'http://www.baidu.com/s?'
headers = {}
r = requests.get(url, params=params, headers=headers)
# 手动设置编码
r.encoding = ''
# 获取请求完的内容
r.text # 返回的是一个字符串文本内容
r.content # 返回的是二进制
requests.post(url=url, data={}) # post请求 url是路由,data是post的参数
r.json() # 返回字典
# 处理cookie,获取cookie
cookies = {}
for items in r.cookies.items():
cookies[items[0]] = items[1]
# 存储cookie,1,写文本2,数据库,存储W为字典形式是因为resques接受的参数是字典的形式
r = requests.get(url, params={}, headers={}, cookies={})
# 代理
r = requests.get(url, params={}, headers={}, cookies={}, proxies={})
# 重定向,false禁止重定向,true开启重定向
r = requests.get(url, params={}, headers={},cookies={},proxies={},allow_redirects=False)
#禁止证书校验ssl
r = requests.get(url, params={}, headers={},cookies={},proxies={},allow_redirects=False,verify=False)
#设置超时
r = requests.get(url, params={}, headers={},cookies={},proxies={},allow_redirects=False,timeout=1)
#创建session对象
session = requests.Session()
session.get()
session.post()
基本的代码实现,有注释,不懂的留言。
上一篇: Git笔记(杂乱无章,慎入)