scrapy使用自动义参数的方法
程序员文章站
2022-03-03 07:58:47
...
关于scrapy使用自定义参数主要是在命令上用crawl控制spider的同时加上 -a,从而做到自定义参数,例如:
scrapy crawl spiderName -a symbol=symbol
在spider中加入以下部分:
def __init__(self, symbol='', *args, **kwargs):
super().__init__(*args, **kwargs)
self.symbol = symbol
使用方法如下:
import scrapy
class MySpider
neme = 'name'
def __init__(self, symbol='', *args, **kwargs):
super().__init__(*args, **kwargs)
self.symbol = symbol
def start_requests(self):
url = 'https://zcbm.bicoin.info/futureTrade/trade/getAllTradesBySymbol?timeType=4h&symbol={}'.format(self.symbol)
yield scrapy.Request(url, headers=self.headers, callback=self.parse)
def parse(self, response):
......
最后通过命令:scrapy crawl MySpider -a symbol='ABC'
执行即可。
上一篇: Android自定义音量弹窗
下一篇: 51NOD【1270】数组的最大代价
推荐阅读
-
使用node搭建自动发图文微博机器人的方法
-
使用C# CefSharp Python采集某网站简历并且自动发送邀请短信的方法
-
Win10系统故障无法自动修复怎么办?Win10使用还原点还原系统的方法
-
解决EditText、ListView以及GridView同时使用,输入法自动跳出来的方法
-
Python读取txt文件数据的方法(用于接口自动化参数化数据)
-
selenium+python自动化测试之使用webdriver操作浏览器的方法
-
Python使用Flask框架获取当前查询参数的方法
-
使用Python自动化破解自定义字体混淆信息的方法实例
-
php define的第二个参数使用方法
-
在scrapy中使用phantomJS实现异步爬取的方法