分布式爬虫的搭建-糗事百科(案例)

糗事百科采用分布式爬取

1:scrapy-redis的工作原理

    有相关scrapy经验者可仔细研究一些，无经验者可直接看下一节内容，等走完流程可在回头看

 

 

  1，spider打开某网页，获取到一个或者多个request，经由scrapy engine传送给调度器scheduler

request特别多并且速度特别快会在scheduler形成请求队列queue，由scheduler安排执行

2，schelduler会按照一定的次序取出请求，经由引擎, 下载器中间键，发送给下载器dowmloader

这里的下载器中间键是设定在请求执行前，因此可以设定代理，请求头，cookie等

3，下载下来的网页数据再次经过下载器中间键，经过引擎，经过爬虫中间键传送给爬虫spiders

这里的下载器中间键是设定在请求执行后，因此可以修改请求的结果

这里的爬虫中间键是设定在数据或者请求到达爬虫之前，与下载器中间键有类似的功能

4，由爬虫spider对下载下来的数据进行解析，按照item设定的数据结构经由爬虫中间键，引擎发 送给项目管道itempipeline

这里的项目管道itempipeline可以对数据进行进一步的清洗，存储等操作

这里爬虫极有可能从数据中解析到进一步的请求request，它会把请求经由引擎重新发送给调度器   shelduler，调度器循环执行上述操作

5，项目管道itempipeline管理着最后的输出

转自博客：https://www.cnblogs.com/themost/p/7131234.html

 

 2:准备工作

 2.1：一个完整可以运行的scrapy项目

2.2：准备一台电脑（使用本地redis数据库）或者两台以上（其中一台作为master端负责redis服务的启动及发布需要爬的url，其余电脑作为slave端，只需要运行爬虫即可）

2.3： pip  install  scrapy-redis

3:我们开始吧(从图片入手)

下面是我的项目目录

 

 

在我们创建的spider_name.py中,我的是baike.py

代码解释

 

 

 

 

我们使用scrapy_redis 就得使用他的爬虫，原因不必深究，知道用这个就行

 redis_key:可以理解成dic中的key，使用我们会在运行中解释，不需要start_urls,

4:修改设置文件

下面是我的setting.py

 

 

 

 

 

以上可直接写入你的setting文件中

到此，我们的scrapy_redis 已经完成一半了

 

 5:redis数据库的选择

不同系统下redis配置在config设置有些不同，本次测试全部基于windows环境下，其他环境请自行百度

对于选择redis数据库是本地还是master的数据库，我详细说明一下

本地数据库就很简单，什么都不写，可直接跳过下一节

master数据库连接请移步下一节

6:master端数据库连接

  1：在master端下载一下redis(http://download.redis.io/releases/)及redisdesktopmanager(链接：https://pan.baidu.com/s/1q4_eevttxvdq5lpkbx2vda

提取码：gamg )

我的redis版本是3.2的,有的习惯于把redis服务写成windows服务，方便启动，我这里没有，简单直接粗暴  嘿嘿

2：安装完以后打开

 

 

找到这个  然后注释掉  我的是注释了的

 

 

测试slave端是否能到连接master端

  master端打开服务  redis-server.exe

 

 

下面是我master端的ip地址

 

 

下面是我slave端的ip地址

 

 

1：测试连接准备工作

ping  对方的ip

查看数据可以传输

master端ping slave 端  有以下画面表示可以传输

 

 

接着slave端 ping master端  一切都很ok

 

 

测试

  在master端和slave端都启动服务  在master端 在redis目录下，后面跟的redis.windows.conf表示启动时 使用该配置文件

 

 

再在redis目录下启动cmd命令 输入redis-cli.exe

 

 

redis数据的存储是键值对的方式

在slave端和master端一样先开启服务

在开一个dos界面 

 

 

  如果出现以上界面  表示连接成功

 7:最后让我们开始运行我们的项目吧

7.1:本地redis篇

进入终端或者在含有你爬虫文件的目录下

执行命令  scrapy  runspider  baike.py,然后你会看到以下界面，表示爬虫已运行，处于等待状态，需要你给一个url

 

 

执行命令 格式为：lpush  《redis_key》 url

 

 

看结果  跑起来了

 

 

再次查看本地数据库 数据进来了

 

 

 7.2:远程篇 本机作为slave端

1：同样 在本地启动爬虫  scrapy  runspider  baike.py

 

 

 

2：master端启动服务 后打开redis desktop manager ，可以看到没有我们的redis_key

 

3:执行  redis-cli.exe 命令

 

 

4：查看终端  我在pycharm终端运行的

 

 

在看redis数据库，由于只是测试，就简单运行了一下，数据都进来了

 

 

 8:总结

    在学习scrapy及scrapy_redis 的过程中，遇到不懂的多去百度，还有代码尽量多去手打，即使看起来很简单，手打后你才能从中体会其中的工作原理，可以多加一些scrapy的群，问一下那些大神是怎么做的，少绕弯路。

    以上差不多就是我的所有心得吧，第一次写博客，希望有大神看到有问题的地方可以不吝赐教，我接触不深，有不对的地方勿喷，只想分享下我的学习历程,欢迎加入我的群一起交流: 644080474  嘿嘿

    下面是我的github地址，代码有不对的地方可以看下我的源代码

    https://github.com/heqiang

    祝各位小伙伴早日成功 加油