Python3爬虫（十八） Scrapy框架（二）

对scrapy框架（一）的补充

infi-chu:

http://www.cnblogs.com/infi-chu/

 

scrapy优点：
    提供了内置的 http 缓存 ，以加速本地开发 。
    提供了自动节流调节机制，而且具有遵守 robots.txt 的设置的能力。
    可以定义爬行深度的限制，以避免爬虫进入死循环链接 。
    会自动保留会话。
    执行自动 http 基本认证 。 不需要明确保存状态。
    可以自动填写登录表单。
    scrapy 有一个 内置的中间件 ， 可以自动设置请求中 的引 用（ refeπer ）头 。
    支持通过 3xx 响应重定向 ，也可以通过 html 元刷新。
    避免被网站使用的＜noscript> meta 重定向困住，以检测没有 js 支持的页面 。
    默认使用 css 选择器或 xpath 编写解析器。
    可以通过 splash 或任何其他技术（如 selenium ） 呈现 javascript 页面。
    拥有强大的社区支持和丰富 的插件和扩展来扩展其功能 。
    提供了通用的蜘蛛来抓取常见的格式 ： 站点地图、 csv 和 xml。
    内置支持以多种格式 cjson 、 csv 、 xml、 json-lines ）导出收集的数据并将其存储
    在多个后端（ ftp , s3 、本地文件系统）中。
    
scrapy工作流程：
    1.引擎打开一个网站（ open a domain ） ，找到处理该网站的 spider 并向该 spider 请求第
    一个要爬取的url(s)。
    2.引擎从 spider 中 获取第一个要爬取的 url 并在调度器（ scheduler ）中以 request
    调度 。
    3.引擎向调度器请求下 一个要爬取的 url 。
    4.调度器返回下一个要爬取的 url 给引擎，引擎将 url 通过下载中间件（请求（ request)
    方向）转发给下载器（ downloader ）。
    5.一旦页面下载完毕，下载器生成一个该页面的 response ，并将其通过下载中间件（返回 （ response）方向）发送给引擎。
    6.引擎从下载器中 接收 response 并通过 spider 中间件（输入方向）发送给 spider 处理 。
    7. spider 处理 response 井返回爬取到的 item 及（跟进的）新的 request 给引擎。
    8.引擎将（ spider 返回的）爬取到的 item 给 item pipeline ，将（ spider 返回的） request
    给调度器。
    9. （从第 2 步）重复直到调度器中没有更多的 request，引擎关闭对该网站 的执行进程。
    
scrapy各组件功能：
    1.引擎
    引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。它也是程序的入口，可以通过 scrapy 指令方式在命令行启动，或者通编程方式实例化后调用 start 方法启动。
    2.调度器
    调度器从引擎接收爬取请求并将它们入队，以便之后引擎请求它们时提供给引擎。一般来说，我们并不需要直接对调度器进行编程，它是由 scrapy 主进程进行自动控制的。
    3.下载器
    下载器负责处理产生最终发出的请求对象 request 并将返回的响应生成 response对象传递给蜘蛛。
    4. spiders
    spider 是用户编写用于分析响应结果并从中提取 item或额外跟进的 url 的类。每个 spider 负责处理一个特定网站。
    5.数据管道
    item pipeline 负责处理被 spider 提取出来的 item。典型的处理有清理、验证及持久化。
    6.下载器中间件
    下载器中间件是在引擎及下载器之间的特定钩子（ specific hook ），处理 downloader传递给引擎的 response。其提供了 一个简便的机制，通过插入自定义代码来扩展 scrapy 的功能。
    7. spider中间件
    spider 中间件是在引擎及 spider 之间的特定钩子（ specific hook ），处理 spider 的输入( response ）和输出（items 及 requests ）。其提供了一个简便的机制，通过插入自定义代码来扩展 scrapy 的功能。

scrapy基本操作：
    安装
        pip install scrapy
        【windows版注意事项】
        环境要求：需要microsoft visual c++ 14.0 或以上版本

    基本操作命令

# 创建爬虫项目
scrapy startproject 项目名
# 创建蜘蛛
scrapy genspider 文件名 爬取网站的域名
# 启动爬虫
scrapy crawl 文件名

    数据模型item
        官方定义：爬取的主要目标就是从非结构的数据源中提取结构性数据，如网页。scrapy提供item类来满足这样的需求。item对象是一种简单的容器，保存了爬取到的数据。其提供了类似于词典的api，以及用于声明可用字段的简单语法。
        声明item：item使用简单的class定义语法和field对象来进行声明。
        item字段（item fields）：field对象指明了对每个字段的元数据。

    蜘蛛spider
        定义：spider定义了爬取的动作以及分析某个网页的地方
        spider内部循环顺序：
        1.以最初的url初始化request，并设置回调函数。当该request下载完毕并返回时，生成response，并作为参数传给该回调函数。spider中初始的request是通过调用start_requests()来获取的。此函数会读取其中的url，并以parse为回调函数生成request。
        2.在回调函数中分析返回的内容，返回item或者一个包括二者的可迭代容器。返回的request对象之后会经过scrapy处理，下载相应的内容，并调用设置的callback函数。
        3.在回调函数中，可以使用选择器或其他的解析器卡来进行页面分析，并根据分析的数据生成item
        4.由spider返回的item将被存放到数据库（由某些item pipeline处理）或者使用feed exports保存到文件中。

    管道item pipeline
        定义：当item在spider中被收集之后，他将被传递到此管道中，一些组件会按照一定的顺序对item进行处理。
        作用：
        1.清理html数据
        2.验证爬取的数据（检查item包含某些字段）
        3.去重
        4.将爬取结果保存到数据库中。
        实质：输入/输出
        分类：
        1.过滤性管道
        2.加工性管道
        3.存储性管道