Scrapy原理讲解

一.scrapy爬虫流程

scheduler拿到从spiders里面拿到需要爬取的URL并通过Scrapy Engine将其交给下载中间件处理交给Downloader下载。
Downloader通过下载中间件将数据交给引擎，引擎通过爬虫中间件，将数据交给爬虫。
爬虫提取数据交给引擎，引擎通过Pipeline进行数据的存储。
spider通过提取的url地址构造request对象通过爬虫中间交给引擎交给调度器

二 .scrapy项目