scrapy学习笔记（二）框架结构工作原理

scrapy结构图：

scrapy组件：

• engine：引擎，框架的核心，其它所有组件在其控制下协同工作。
• scheduler：调度器，负责对spider提交的下载请求进行调度。
• downloader：下载器，负责下载页面（发送http请求/接收http响应）。
• spider：爬虫，负责提取页面中的数据，并产生对新页面的下载请求。
• middleware：中间件，负责对request对象和response对象进行处理。
• item pipeline：数据管道，负责对爬取到的数据进行处理。

对于用户来说，spider是最核心的组件，scrapy爬虫开发是围绕实现spider展开的。

框架中的数据流：

• request：scrapy中的http请求对象。
• response：scrapy中的http响应对象。
• item：从页面中爬取的一项数据。

request和response是http协议中的术语，即http请求和http响应，scrapy框架中定义了相应的request和response类，这里的item代表spider从页面中爬取的一项数据。

scrapy大致工作流程：

1. 当spider要爬取某url地址的页面时，需使用该url构造一个request对象，提交给engine。
2. engine将request对象传给scheduler，scheduler对url进行去重，按某种算法进行排队，之后的某个时刻scheduler将其出队，将处理好的request对象返回给engine。
3. engine将scheduler处理后的request对象发送给downloader下载页面。
4. downloader根据middleware的规则，使用request对象中的url地址发送一次http请求到网站服务器，之后用服务器返回的http响应构造出一个response对象，其中包含页面的html文本。downloader将结果resopnse对象传给engine。
5. engine将response对象发送给spider的页面解析函数（构造request对象时指定）进行处理，页面解析函数从页面中提取数据，封装成item后提交给engine。
6. engine将item送往itempipelines进行处理，最终以某种数据格式写入文件（csv，json）或者存储到数据库中。

整个流程的核心都是围绕着engine进行的。

request对象

request对象用来描述一个http请求，下面是其构造器方法的参数列表。

request(url, callback=none, method='get', headers=none, body=none,
                 cookies=none, meta=none, encoding='utf-8', priority=0,
                 dont_filter=false, errback=none, flags=none)

# url（必选）：请求页面的url地址，bytes或str类型，如'http://www.baidu.com'。
# callback:页面解析函数， callable类型，request对象请求的页面下载完成后，由该参数指定的页面解析函数被调用。如果未传递该参数，默认调用spider的parse方法。
# method：http请求的方法，默认为'get'。
# headers：http请求的头部字典，dict类型，例如{'accept':'text/html', 'user-agent':mozilla/5.0'}。如果其中某项的值为none，就表示不发送该项http头部，例如{'cookie':none}，禁止发送cookie。
# body：http请求的正文，bytes或str类型。
# cookies：cookie信息字典，dict类型，例如{'currency':  'usd','country': 'uy'}。
# meta：request的元数据字典，dict类型，用于给框架中其他组件传递信息，比如中间件item  pipeline。其他组件可以使用request对象的meta属性访问该元数据字典（request.meta），也用于给响应处理函数传递信息，
#       详见response的meta属性。
# encoding：url和body参数的编码默认为'utf-8'。如果传入的url或body参数是str类型，就使用该参数进行编码。
# priority：请求的优先级默认值为0，优先级高的请求优先下载。
# dont_filter：默认情况下（dont_filter=false），对同一个url地址多次提交下载请求，后面的请求会被去重过滤器过滤（避免重复下载）。如果将该参数置为true，可以使请求避免被过滤，强制下载。例如，在多次爬取
#             一个内容随时间而变化的页面时（每次使用相同的url），可以将该参数置为true。
# errback：请求出现异常或者出现http错误时（如404页面不存在）的回调函数。

虽然参数很多，但除了url参数外，其他都带有默认值。在构造request对象时，通常我们只需传递一个url参数或再加一个callback参数，其他使用默认值即可。

response对象：

response对象用来描述一个http响应，response只是一个基类，根据响应内容的不同有如下子类：

• textresponse
• htmlresponse
• xmlresponse

当一个页面下载完成时，下载器依据http响应头部中的content-type信息创建某个response的子类对象。我们通常爬取的网页，其内容是html文本，创建的便是htmlresponse对象，其中htmlresponse和xmlresponse是textresponse的子类。实际上，这3个子类只有细微的差别，这里以htmlresponse为例进行讲解。

下面是htmlresponse对象的属性及方法。

url：http响应的url地址，str类型。
status：http响应的状态码，int类型，例如200，404。
headers：http响应的头头部，类字典类型，可以调用get或getlist方法对其进行访问，例如：response.headers.get('content-type')  response.headers.getlist('set-cookie')
body：http响应正文，bytes类型。
text：文本形式的http响应正文，str类型，它是由response.body使用response.encoding解码得到的，即reponse.text = response.body.decode(response.encoding)
encoding：http响应正文的编码，它的值可能是从http响应头部或正文中解析出来的。
request：产生该http响应的request对象。
meta：即response.request.meta，在构造request对象时，可将要传递给响应处理函数的信息通过meta参数传入；响应处理函数处理响应时，通过response.meta将信息取出。
selector：selector对象用于在response中提取数据。
xpath(query)：使用xpath选择器在response中提取数据，实际上它是response.selector.xpath方法的快捷方式。
css(query)：使用css选择器在response中提取数据，实际上它是response.selector.css方法的快捷方式。
urljoin（url）：用于构造绝对url。当传入的url参数是一个相对地址时，根据response.url计算出相应的绝对url。例如：

response.url为http://www.example.com/a，url为b/index.html，调用response.urljoin(url)的结果为http://www.example.com/a/b/index.html。

虽然htmlresponse对象有很多属性，但最常用的是以下的3个方法：

• xpath(query)
• css(query)
• urljoin(url)

前两个方法用于提取数据，后一个方法用于构造绝对url。

spied开发流程

实现一个spider子类的过程很像是完成一系列填空题，scrapy框架提出以下问题让用户在spider子类中作答：

• 爬虫从哪个或哪些页面开始爬取？
• 对于一个已下载的页面，提取其中的哪些数据？
• 爬取完当前页面后，接下来爬取哪个或哪些页面？

实现一个spider只需要完成下面4个步骤：

• 继承scrapy.spider。
• 为spider取名。
• 设定起始爬取点。
• 实现页面解析函数。

scrapy.spider基类实现了以下内容:

• 供scrapy引擎调用的接口，例如用来创建spider实例的类方法from_crawler。
• 供用户使用的实用工具函数，例如可以调用log方法将调试信息输出到日志。
• 供用户访问的属性，例如可以通过settings属性访问配置文件中的配置。

 关于起始url start_urls：

start_urls通常被实现成一个列表，其中放入所有起始爬取点的url（例子中只有一个起始点）。看到这里，大家可能会想，请求页面下载不是一定要提交request对象么？而我们仅定义了url列表，是谁
暗中构造并提交了相应的request对象呢？

1. 我们将起始url提交给engine。
2. engine调用start_requests方法，我们没有实现整个方法，所以调用了基类的start_requests方法。
3. 通过阅读spider基类的源码可以看到如下内容：
4. 
5. 基类的start_requests将我们的url封装成request对象。

由此我们知道request对象是调用基类start_requests方法产生的，因此我们也可以自己定义start_requests方法（覆盖基类spider的start_requests方法），直接构造并提交起始爬取点的request对象。在某些场景下使用这种方式更加灵活，例如有时想为request添加特定的http请求头部，或想为request指定特定的页面解析函数。

页面解析函数parse:

页面解析函数也就是构造request对象时通过callback参数指定的回调函数（或默认的parse方法）。页面解析函数是实现spider中最核心的部分，它需要完成以下两项工作：

• 使用选择器提取页面中的数据，将数据封装后（item或字典）提交给scrapy引擎。
• 使用选择器或linkextractor提取页面中的链接，用其构造新的request对象并提交给scrapy引擎（下载链接页面）。

一个页面中可能包含多项数据以及多个链接，因此页面解析函数被要求返回一个可迭代对象（通常被实现成一个生成器函数），每次迭代返回一项数据（item或字典）或一个request对象。

内容小结：

• 了解scrapy的六个组件的功能。
• 理解scrapy工作流程。