scrapy多爬虫以及爬取速度
程序员文章站
2022-05-07 17:26:26
...
主要这段时间一直使用的就是scrapy这个框架,因为公司里面需要爬取大量的网站,所以才使用了多爬虫,但是目前测试也只是几十个,一直也想不到更好的方法去同时抓取成千上百个结构不同的网站,所以也很是苦逼的用了scrapy里面的多爬虫,对每个网站分别解析,还好虽然几次改需求但是字段都是统一的,可以很轻松的通过itempipline去入库。
像多爬虫这个东西,我也是参考一些大牛发的博客,文档什么的,是通过创建commands目录来实现多爬虫爬取。
废话不多说,我们创建commands目录的时候必须注意commands和spiders目录是同级的,在commands下面添加一个文件crawlall.py,里面的内容都是固定的。crawl的源码可以在此查看:https://github.com/scrapy/scrapy/blob/master/scrapy/commands/crawl.py
步骤就是:
1、mkdir commands
2、commands创建文件crawlall.py,把源码复制粘贴过去
3、不要忘记创建一个_init_文件,这个如果忘了的话也是不行的
4、settings.py目录下创建setup.py,这一步我并没有做,但是好多都说需要写上这一步,我就在这添加上吧。
附上里面的代码
from setuptools import setup, find_packages
setup(name='scrapy-mymodule',
entry_points={
'scrapy.commands': [
'crawlall=cnblogs.commands:crawlall',
],
},
)
这个文件的含义是定义了一个crawlall命令,cnblogs.commands为命令文件目录,crawlall为命令名。
5. 在settings.py中添加配置:
COMMANDS_MODULE = 'cnblogs.commands'
这个千万不能忘,settings毕竟掌控着各大文件
然后我们运行代码的时候可以创建一个run.py,附上我的run文件的代码
# coding:utf-8
from scrapy import cmdline
import sys,os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
if __name__=="__main__":
cmdline.execute(['scrapy','crawlall'])
运行的时候我们只需要运行run.py所有的spider就会跑起来了。
因为文件比较多,所以这时候我们需要在settings下面添加
CONCURRENT_REQUESTS
提高并发数,其实像一些IO密集型什么的我也不是特别理解,也不能跟大家解释了,还有就是把timeout设置的小一些,我当时设置的是30
DOWNLOAD_TIMEOUT=30
配置完这些基本上在速度方面上还是可以的,如果还有更好的方法可以随时给我提,这也只是我的一些理解,如果有不对的地方可以说出来,会及时更正。
推荐阅读
-
使用爬虫框架scrapy爬取网站妹子图
-
Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码
-
爬虫 Scrapy框架 爬取图虫图片并下载
-
爬虫(十七):Scrapy框架(四) 对接selenium爬取京东商品数据
-
荐 Python爬虫:基于Scrapy爬取京东商品数据并保存到mysql且下载商品图片
-
scrapy爬虫实战 - 51job爬虫职位爬取
-
Python爬虫实例(Scrapy爬取视频网站资源)
-
【Python Scrapy 爬虫框架】 5、利用 pipelines 和 settings 将爬取数据存储到 MongoDB
-
使用爬虫框架scrapy爬取网站妹子图
-
Python Scrapy的QQ音乐爬虫 音乐下载、爬取歌曲信息、歌词、精彩评论、