欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

爬虫第三课---reuqests

程序员文章站 2022-05-08 09:59:25
...
'''
第三方库,需要安装,pip install requests
1.请求

'''

import requests

requests.get()  # get请求,如果get中有请求参数。我们使用如下
params = {'wd': 'python'}
url = 'http://www.baidu.com/s?'
headers = {}
r = requests.get(url, params=params, headers=headers)
# 手动设置编码
r.encoding = ''
# 获取请求完的内容
r.text  # 返回的是一个字符串文本内容
r.content  # 返回的是二进制
requests.post(url=url, data={})  # post请求 url是路由,data是post的参数
r.json()  # 返回字典
# 处理cookie,获取cookie
cookies = {}
for items in r.cookies.items():
    cookies[items[0]] = items[1]
# 存储cookie,1,写文本2,数据库,存储W为字典形式是因为resques接受的参数是字典的形式
r = requests.get(url, params={}, headers={}, cookies={})
# 代理
r = requests.get(url, params={}, headers={}, cookies={}, proxies={})
# 重定向,false禁止重定向,true开启重定向
r = requests.get(url, params={}, headers={},cookies={},proxies={},allow_redirects=False)
#禁止证书校验ssl
r = requests.get(url, params={}, headers={},cookies={},proxies={},allow_redirects=False,verify=False)
#设置超时
r = requests.get(url, params={}, headers={},cookies={},proxies={},allow_redirects=False,timeout=1)
#创建session对象
session = requests.Session()
session.get()
session.post()

基本的代码实现,有注释,不懂的留言。

相关标签: requests