爬虫之Scarpy.Request
程序员文章站
2022-04-28 14:13:52
一 .Request 1.request Scarpy中的HTTP请求对象 1.1.Requse的构造 1.2常用的几个参数 url method headers body meta ......
一 .request
1.request
scarpy中的http请求对象
1.1.requse的构造
#我们ctrl+左键可以看到scarpy.request的代码 class request(object_ref): def __init__(self, url, callback=none, method='get', headers=none, body=none, cookies=none, meta=none, encoding='utf-8', priority=0, dont_filter=false, errback=none, flags=none): 其中我们可以看出描述他的有这几个因素 1.url:请求页面的地址(必须有这个参数) 2.callback:页面解析参数,(默认调用spider的parse的方法) 3.method:http的请求方法,默认为'get' 4.header:请求头部字典,none是不发生送给cookies 5.body:请求正文,bytes或者str数据类型 6.cookies:cookies信息字典 7meta:(我没法理解) 8.encoding:编码方式 9.priority:请求优先级,默认值为0 10.dont_filter:默认情况下是false对同一url发送多次请求不过会被过滤,对于变换的网页我们最好改成ture防止被过滤 11.errback:请求时发送错误进行回调 12.flags:(不清楚)
1.2常用的几个参数
- url
- method
- headers
- body
- meta
上一篇: 唐朝最悲壮的一战士兵坚守国土42年,头发花白冲向敌军
下一篇: PHP 文件缓存的性能测试