爬虫之Scarpy.Request

一 .request

1.request

scarpy中的http请求对象

1.1.requse的构造

#我们ctrl+左键可以看到scarpy.request的代码
class request(object_ref):

    def __init__(self, url, callback=none, method='get', headers=none, body=none,
                 cookies=none, meta=none, encoding='utf-8', priority=0,
                 dont_filter=false, errback=none, flags=none):

 其中我们可以看出描述他的有这几个因素
1.url:请求页面的地址(必须有这个参数)
2.callback:页面解析参数,(默认调用spider的parse的方法)
3.method:http的请求方法,默认为'get'
4.header:请求头部字典,none是不发生送给cookies
5.body:请求正文,bytes或者str数据类型
6.cookies:cookies信息字典
7meta:(我没法理解)
8.encoding:编码方式
9.priority:请求优先级,默认值为0
10.dont_filter:默认情况下是false对同一url发送多次请求不过会被过滤,对于变换的网页我们最好改成ture防止被过滤
11.errback:请求时发送错误进行回调
12.flags:(不清楚)

1.2常用的几个参数

• url
• method
• headers
• body
• meta