scrapy框架的基本结构，python怎么使用scrapy爬取数据

scrapy框架的基本结构，怎么使用scrapy？

一、了解scrapy的工作流程

** 1.爬虫中起始的url构造成request对象–>爬虫中间件–>引擎–>调度器
2.调度器把request–>引擎–>下载中间件—>下载器
3.下载器发送请求，获取response响应---->下载中间件---->引擎—>爬虫中间件—>爬虫
4.爬虫提取url地址，组装成request对象---->爬虫中间件—>引擎—>调度器，重复步骤2
5.爬虫提取数据—>引擎—>管道处理和保存数据****

图示如下：

注意：各个组件值键的交互都是由引擎作为中间者，有问题，找引擎， 有数据，给引擎

二、使用步骤：

1、安装

pip install scrapy

2、创建项目：

scrapy startproject 项目名

3、生成爬虫：

scrapy genspider 爬虫名称 爬虫允许的抓取范围

##注：抓取范围就是所爬取的网页，写错的话后续还可以在爬虫文件中修改

4、在爬虫文件中写爬取代码：

1. 爬取数据，数据通常使用yield返回（接收者为引擎），不能return返回，return会结束进程， 这也是违背框架的复用初衷

2. yield只能返回自定义的模型类，字典，请求对象，我们通常可以把数据组织为dict，再yield返回

5、pipelines进行数据的后续处理和保存

1.打开pipelines.py文件
2.重写管道类的process_item方法，保存数据
3.打开settings.py配置启用管道查看配置
ITEM_PIPELINES = {‘itcast1.pipelines.ItcastPipeline’: 300,}
4.在spider中的parse方法中将数据返回-yield

##注意：process_item方法处理完item之后必须返回给引擎

6、运行爬虫

切换至工程文件（能看到scrapy.cfg文件）执行：

scrapy crawl 爬虫名