欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

爬虫之Scarpy.Request

程序员文章站 2022-04-28 14:13:52
一 .Request 1.request Scarpy中的HTTP请求对象 1.1.Requse的构造 1.2常用的几个参数 url method headers body meta ......

一 .request

1.request

scarpy中的http请求对象

1.1.requse的构造

#我们ctrl+左键可以看到scarpy.request的代码
class request(object_ref):

    def __init__(self, url, callback=none, method='get', headers=none, body=none,
                 cookies=none, meta=none, encoding='utf-8', priority=0,
                 dont_filter=false, errback=none, flags=none):

 其中我们可以看出描述他的有这几个因素
1.url:请求页面的地址(必须有这个参数)
2.callback:页面解析参数,(默认调用spider的parse的方法)
3.method:http的请求方法,默认为'get'
4.header:请求头部字典,none是不发生送给cookies
5.body:请求正文,bytes或者str数据类型
6.cookies:cookies信息字典
7meta:(我没法理解)
8.encoding:编码方式
9.priority:请求优先级,默认值为0
10.dont_filter:默认情况下是false对同一url发送多次请求不过会被过滤,对于变换的网页我们最好改成ture防止被过滤
11.errback:请求时发送错误进行回调
12.flags:(不清楚)

1.2常用的几个参数

  • url
  • method
  • headers
  • body
  • meta