python scrapy项目下spiders内多个爬虫同时运行的实现

一般创建了scrapy文件夹后，可能需要写多个爬虫，如果想让它们同时运行而不是顺次运行的话，得怎么做？

a、在spiders目录的同级目录下创建一个commands目录，并在该目录中创建一个crawlall.py，将scrapy源代码里的commands文件夹里的crawl.py源码复制过来，只修改run()方法即可！

b、还得在里面加个_init_.py文件

c、到这里还没完，settings.py配置文件还需要加一条。

　　commands_module = ‘项目名称.目录名称'　

d、最后启动crawlall即可！

    当然，安全起见，可以先在命令行中进入该项目所在目录，并输入scrapy -h,可以查看是否有命令crawlall 。如果有，那就成功了，可以启动了

我是写了个启动文件，放在第一级即可

要不直接在命令台cmd里输入 scrapy crawlall 就行了

##注意的是，爬虫好像是2个同时运行，而且运行时是交叉的？

还有settings里的文件，只针对其中一个？

到此这篇关于python scrapy项目下spiders内多个爬虫同时运行的文章就介绍到这了,更多相关python scrapy项目下spiders内多个爬虫同时运行内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！