[python爬虫]Scrapy入门使用教程
开发环境
python: 3.7
系统: windows10
编辑器: PyCharm Community
文档地址
- Scrapy官方文档：http://doc.scrapy.org/en/latest
- Scrapy中文文档：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html
Demo地址
https://gitee.com/fengzxia/python_crawler_learning/tree/master/qiushibaike
安装
通过 pip install scrapy 即可快速安装
注意：
- 在ubuntu上安装scrapy之前，需要先执行下边的命令安装依赖：
然后再通过sudo apt-get install python3-dev build-essential python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-devpip install scrapy安装- 如果在windows系统下，提示这个错误
ModuleNotFoundError: No module named 'win32api'，那么使用以下命令可以解决：pip install pypiwin32
快速入门
1. 创建项目
要使用Scrapy框架创建项目，需要通过命令来创建。首先进入到你想把这个项目存放的目录。然后使用以下命令创建：
scrapy startproject [项目名称]
2. 目录结构介绍
以下介绍主要文件的作用
-
items.py: 用来存放爬虫爬取下来数据的模型 -
middlewares.py: 用来存放各种中间件的文件 -
pipelines.py: 用来将items的模型存储到本地磁盘中 -
settings.py: 本爬虫的一些配置信息（比如请求头、多久发送一次请求、ip代理池等） -
scrapy.cfg: 项目的配置文件 -
spiders包: 以后所有的爬虫，都是存放到这个里面
3. 使用Scrapy框架爬取糗事百科
-
使用命令创建一个爬虫
scrapy startproject qsbk
创建了一个名叫qsbk的爬虫 -
修改
settings.py代码
在做爬虫之前，一定要记得修改setting.py中的设置，下边有两个地方是强烈建议设置的
1.ROBOTSTXT_OBEY: 设置为False。默认是True。即遵守机器协议，那么在爬虫的时候，scrapy首先去找robots.txt文件，如果没有找到。则直接停止爬取。
2.USER_AGENT: 设置请求头，将爬虫伪装成正常请求，不设置直接请求会报错，错误信息如下2019-07-11 16:08:58 [scrapy.core.scraper] ERROR: Error downloading <GET https://www.qiushibaike.com/text/1> Traceback (most recent call last): File "C:\Users\fengz\AppData\Local\Programs\Python\Python37\lib\site-packages\scrapy\core\downloader\middleware.py", line 43, in process_request defer.returnValue((yield download_func(request=request,spider=spider))) twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>]
4. 完整的爬虫代码
-
items.py部分代码import scrapy class QsbkItem(scrapy.Item): author = scrapy.Field() content = scrapy.Field() -
spiders包下新建一个爬虫脚本qsbk_spider.py代码如下import scrapy from qsbk.items import QsbkItem class QsbkSpider(scrapy.Spider): name = "qsbk" allowed_domains = ['qiushibaike.com'] start_urls = ['https://www.qiushibaike.com/text/1'] def parse(self, response): outerbox = response.xpath("//div[@id='content-left']/div") items = [] for box in outerbox: author = str(box.xpath("div[@class='author clearfix']/a/h2/text()").extract_first()).strip() content = str(box.xpath("a/div[@class='content']/span/text()").extract_first()).strip() item = QsbkItem() item['author'] = author item['content'] = content items.append(item) return items-
name: 这个爬虫的名字，名字必须是唯一的 -
allow_domains: 允许的域名。爬虫只会爬取这个域名下的网页，其他不是这个域名下的网页会被自动忽略 -
start_urls: 爬虫从这个变量中的url开始 -
parse方法: 引擎会把下载器下载回来的数据扔给爬虫解析，爬虫再把数据传给这个parse方法。这个是个固定的写法。这个方法的作用有两个，第一个是提取想要的数据。第二个是生成下一个请求的url - 这里使用的是
xpath方式提取的数据 -
extract_first(): 获取通过xpath提取的第一条数据 -
strip(): 去除字符串中的空格 -
str(): 将内容转为字符串类型，因为有些时候extract_first()返回的类型不匹配，不能使用strip()
Scrapy为
QsbkSpider的start_urls属性中的每个URL创建了scrapy.Request对象，并将parse方法作为回调函数(callback)赋值给了Request。Request对象经过调度，执行生成scrapy.http.Response对象并送回给spider parse()方法。提取数据
Selectors选择器简介
从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors。 关于selector和其他提取机制的信息请参考 Selector文档
这里给出XPath表达式的例子及对应的含义:
-
/html/head/title: 选择HTML文档中<head>标签内的<title>元素 -
/html/head/title/text(): 选择上面提到的<title>元素的文字 -
//td: 选择所有的<td>元素 -
//div[@class="mine"]: 选择所有具有class="mine"属性的 div 元素
上边仅仅是几个简单的XPath例子，XPath实际上要比这远远强大的多。 如果您想了解的更多，我们推荐 这篇XPath教程 。
为了配合XPath，Scrapy除了提供了
Selector之外，还提供了方法来避免每次从response中提取数据时生成selector的麻烦。Selector有四个基本的方法(点击相应的方法可以看到详细的API文档):
-
xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。 -
css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表. -
extract(): 序列化该节点为unicode字符串并返回list。 -
re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。
以上
Selectors选择器内容摘抄自Scrapy中文文档 -
-
pipelines.py部分代码import json class QsbkPipeline(object): def __init__(self): self.items = [] def process_item(self, item, spider): self.items.append(dict(item)) print("=" * 40) return item def close_spider(self, spider): with open('qsbk.json', 'w', encoding='utf-8') as fp: json.dump(self.items, fp, ensure_ascii=False)-
process_item: 每个item pipeline组件都需要调用该方法，这个方法必须返回一个Item(或任何继承类)对象， 或是抛出DropItem异常，被丢弃的item将不会被之后的pipeline组件所处理。这里是将item数据存入items集合中 -
close_spider: 当spider被关闭时，这个方法被调用。这里是将items集合中的数据转为json字符串保存到qsbk.json文件中
要想
pipelines.py中的代码执行，必须在settings.py中设置ITEM_PIPELINES属性, 否则不会执行ITEM_PIPELINES = { 'qsbk.pipelines.QsbkPipeline': 300, } -
-
运行scrapy项目
运行scrapy项目。需要在终端，进入项目所在的路径，然后scrapy crawl [爬虫名字]即可运行指定的爬虫。如果不想每次都在命令行中运行，那么可以把这个命令写在一个文件中。以后就在pycharm中执行运行这个文件就可以了。比如现在新创建一个文件叫做start.py，然后在这个文件中填入以下代码from scrapy import cmdline cmdline.execute('scrapy crawl qsbk'.split())
上一篇： 整型、浮点型和字符串数据类型