欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

[python爬虫]Scrapy入门使用教程

程序员文章站 2022-06-15 20:24:43
...

开发环境

python: 3.7
系统: windows10
编辑器: PyCharm Community

文档地址

Demo地址

https://gitee.com/fengzxia/python_crawler_learning/tree/master/qiushibaike

安装

通过 pip install scrapy 即可快速安装

注意:

  1. 在ubuntu上安装scrapy之前,需要先执行下边的命令安装依赖:
    sudo apt-get install python3-dev build-essential python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
    
    然后再通过 pip install scrapy 安装
  2. 如果在windows系统下,提示这个错误ModuleNotFoundError: No module named 'win32api',那么使用以下命令可以解决:pip install pypiwin32

快速入门

1. 创建项目

要使用Scrapy框架创建项目,需要通过命令来创建。首先进入到你想把这个项目存放的目录。然后使用以下命令创建:

scrapy startproject [项目名称]

2. 目录结构介绍

以下介绍主要文件的作用

  1. items.py: 用来存放爬虫爬取下来数据的模型
  2. middlewares.py: 用来存放各种中间件的文件
  3. pipelines.py: 用来将items的模型存储到本地磁盘中
  4. settings.py: 本爬虫的一些配置信息(比如请求头、多久发送一次请求、ip代理池等)
  5. scrapy.cfg: 项目的配置文件
  6. spiders包: 以后所有的爬虫,都是存放到这个里面

3. 使用Scrapy框架爬取糗事百科

  1. 使用命令创建一个爬虫
    scrapy startproject qsbk
    创建了一个名叫qsbk的爬虫

  2. 修改settings.py代码
    在做爬虫之前,一定要记得修改setting.py中的设置,下边有两个地方是强烈建议设置的
    1. ROBOTSTXT_OBEY: 设置为False。默认是True。即遵守机器协议,那么在爬虫的时候,scrapy首先去找robots.txt文件,如果没有找到。则直接停止爬取。
    2. USER_AGENT: 设置请求头,将爬虫伪装成正常请求,不设置直接请求会报错,错误信息如下

    2019-07-11 16:08:58 [scrapy.core.scraper] ERROR: Error downloading <GET https://www.qiushibaike.com/text/1>
    Traceback (most recent call last):
      File "C:\Users\fengz\AppData\Local\Programs\Python\Python37\lib\site-packages\scrapy\core\downloader\middleware.py", line 43, in process_request
        defer.returnValue((yield download_func(request=request,spider=spider)))
    twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>]
    

4. 完整的爬虫代码

  1. items.py 部分代码

    import scrapy
    
    class QsbkItem(scrapy.Item):
        author = scrapy.Field()
        content = scrapy.Field()
    
  2. spiders包下新建一个爬虫脚本 qsbk_spider.py 代码如下

    import scrapy
    from qsbk.items import QsbkItem
    
    class QsbkSpider(scrapy.Spider):
        name = "qsbk"
        allowed_domains = ['qiushibaike.com']
        start_urls = ['https://www.qiushibaike.com/text/1']
    
        def parse(self, response):
            outerbox = response.xpath("//div[@id='content-left']/div")
            items = []
            for box in outerbox:
                author = str(box.xpath("div[@class='author clearfix']/a/h2/text()").extract_first()).strip()
                content = str(box.xpath("a/div[@class='content']/span/text()").extract_first()).strip()
                item = QsbkItem()
                item['author'] = author
                item['content'] = content
                items.append(item)
            return items
    
    • name: 这个爬虫的名字,名字必须是唯一的
    • allow_domains: 允许的域名。爬虫只会爬取这个域名下的网页,其他不是这个域名下的网页会被自动忽略
    • start_urls: 爬虫从这个变量中的url开始
    • parse方法: 引擎会把下载器下载回来的数据扔给爬虫解析,爬虫再把数据传给这个parse方法。这个是个固定的写法。这个方法的作用有两个,第一个是提取想要的数据。第二个是生成下一个请求的url
    • 这里使用的是xpath方式提取的数据
    • extract_first(): 获取通过xpath提取的第一条数据
    • strip(): 去除字符串中的空格
    • str(): 将内容转为 字符串 类型,因为有些时候 extract_first() 返回的类型不匹配,不能使用strip()

    Scrapy为QsbkSpiderstart_urls 属性中的每个URL创建了 scrapy.Request 对象,并将 parse 方法作为回调函数(callback)赋值给了Request
    Request对象经过调度,执行生成 scrapy.http.Response 对象并送回给spider parse() 方法。

    提取数据

    Selectors选择器简介

    从网页中提取数据有很多方法。Scrapy使用了一种基于 XPathCSS 表达式机制: Scrapy Selectors。 关于selector和其他提取机制的信息请参考 Selector文档

    这里给出XPath表达式的例子及对应的含义:

    • /html/head/title: 选择HTML文档中 <head> 标签内的 <title> 元素
    • /html/head/title/text(): 选择上面提到的 <title> 元素的文字
    • //td: 选择所有的 <td> 元素
    • //div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素

    上边仅仅是几个简单的XPath例子,XPath实际上要比这远远强大的多。 如果您想了解的更多,我们推荐 这篇XPath教程

    为了配合XPath,Scrapy除了提供了 Selector 之外,还提供了方法来避免每次从response中提取数据时生成selector的麻烦。

    Selector有四个基本的方法(点击相应的方法可以看到详细的API文档):

    • xpath(): 传入xpath表达式,返回该表达式所对应的所有节点的selector list列表 。
    • css(): 传入CSS表达式,返回该表达式所对应的所有节点的selector list列表.
    • extract(): 序列化该节点为unicode字符串并返回list。
    • re(): 根据传入的正则表达式对数据进行提取,返回unicode字符串list列表。

    以上 Selectors选择器 内容摘抄自Scrapy中文文档

  3. pipelines.py部分代码

    import json
    
    class QsbkPipeline(object):
        def __init__(self):
            self.items = []
    
        def process_item(self, item, spider):
            self.items.append(dict(item))
            print("=" * 40)
            return item
    
        def close_spider(self, spider):
            with open('qsbk.json', 'w', encoding='utf-8') as fp:
                json.dump(self.items, fp, ensure_ascii=False)
    
    • process_item: 每个item pipeline组件都需要调用该方法,这个方法必须返回一个 Item (或任何继承类)对象, 或是抛出 DropItem 异常,被丢弃的item将不会被之后的pipeline组件所处理。这里是将item数据存入items集合中
    • close_spider: 当spider被关闭时,这个方法被调用。这里是将items集合中的数据转为json字符串保存到 qsbk.json 文件中

    要想pipelines.py中的代码执行,必须在settings.py中设置ITEM_PIPELINES属性, 否则不会执行

    ITEM_PIPELINES = {
        'qsbk.pipelines.QsbkPipeline': 300,
    }
    
  4. 运行scrapy项目
    运行scrapy项目。需要在终端,进入项目所在的路径,然后 scrapy crawl [爬虫名字] 即可运行指定的爬虫。如果不想每次都在命令行中运行,那么可以把这个命令写在一个文件中。以后就在pycharm中执行运行这个文件就可以了。比如现在新创建一个文件叫做 start.py,然后在这个文件中填入以下代码

    from scrapy import cmdline
    
    cmdline.execute('scrapy crawl qsbk'.split())
    
相关标签: 爬虫 scrapy