SpringBoot2 整合 Zookeeper组件,管理架构中服务协调
本文源码:github·点这里 || gitee·点这里
一、zookeeper基础简介
1、概念简介
zookeeper是一个apache开源的分布式的应用,为系统架构提供协调服务。从设计模式角度来审视:该组件是一个基于观察者模式设计的框架,负责存储和管理数据,接受观察者的注册,一旦数据的状态发生变化,zookeeper就将负责通知已经在zookeeper上注册的观察者做出相应的反应,从而实现集群中类似master/slave管理模式。zookeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。
2、基本理论
- 数据结构
zookeeper记录数据的结构与linux文件系统相似,整体可以看作一棵树,每个节点称znode。每个znode默认能够存储1mb的数据,每个znode都可以通过其路径唯一标识。
- 节点类型
短暂(ephemeral):客户端和服务器端断开连接后,创建的节点自动删除。
持久(persistent):客户端和服务器端断开连接后,创建的节点持久化保存。
- 集群服务
在zookeeper集群服务是由一个领导者(leader),多个跟随者(follower)组成的集群。领导者负责进行投票的发起和决议,更新集群服务状态。跟随者用于接收客户请求并向客户端返回结果,在选举leader过程中参与投票。集群中只要有半数以上节点存活,zookeeper集群就能正常服务。
- 数据一致性
每个server保存一份相同的数据拷贝,客户端无论请求到被集群中哪个server处理,得到的数据都是一致的。
3、应用场景
- 经典应用:dubbo框架的服务注册和发现;
- 分布式消息同步和协调机制;
- 服务器节点动态上下线;
- 统一配置管理、负载均衡、集群管理;
二、安全管理操作
1、操作权限
zookeeper的节点有5种操作权限:create(增)、read(查)、write(改)、delete(删)、admin(管理)等相关权限,这5种权限集合可以简写为crwda,每个单词的首字符拼接而成。
2、认证方式:
- world
默认方式,开放的权限,意解为全世界都能随意访问。
- auth
已经授权且认证通过的用户才可以访问。
- digest
用户名:密码方式认证,实际业务开发中最常用的方式。
- ip白名单
授权指定的ip地址,和指定的权限点,控制访问。
3、digest授权流程
- 添加认证用户
addauth digest 用户名:密码
- 设置权限
setacl /path auth:用户名:密码:权限
- 查看acl设置
getacl /path
- 完整操作流程
-- 添加授权用户 [zk: localhost:2181] addauth digest smile:123456 -- 创建节点 [zk: localhost:2181] create /cicada cicada -- 节点授权 [zk: localhost:2181] setacl /cicada auth:smile:123456:cdrwa -- 查看授权 [zk: localhost:2181] getacl /cicada
三、整合 springboot2 框架
1、核心依赖
curator是apache开源的一个zookeeper客户端连接和操作的组件,curator框架在zookeeper原生api接口上进行二次包装。提供zookeeper各种应用场景:比如:分布式锁服务、集群领导选举、共享计数器、缓存机制、分布式队列等api封装。
<dependency> <groupid>org.apache.curator</groupid> <artifactid>curator-framework</artifactid> <version>2.12.0</version> </dependency> <dependency> <groupid>org.apache.curator</groupid> <artifactid>curator-recipes</artifactid> <version>2.12.0</version> </dependency> <dependency> <groupid>org.apache.curator</groupid> <artifactid>curator-client</artifactid> <version>2.12.0</version> </dependency>
2、zookeeper参数
zoo: keeper: #开启标志 enabled: true #服务器地址 server: 127.0.0.1:2181 #命名空间,被称为znode namespace: cicada #权限控制,加密 digest: smile:123456 #会话超时时间 sessiontimeoutms: 3000 #连接超时时间 connectiontimeoutms: 60000 #最大重试次数 maxretries: 2 #初始休眠时间 basesleeptimems: 1000
3、服务初始化配置
@configuration public class zookeeperconfig { private static final logger logger = loggerfactory.getlogger(zookeeperconfig.class) ; @resource private zookeeperparam zookeeperparam ; private static curatorframework client = null ; /** * 初始化 */ @postconstruct public void init (){ //重试策略,初试时间1秒,重试10次 retrypolicy policy = new exponentialbackoffretry( zookeeperparam.getbasesleeptimems(), zookeeperparam.getmaxretries()); //通过工厂创建curator client = curatorframeworkfactory.builder() .connectstring(zookeeperparam.getserver()) .authorization("digest",zookeeperparam.getdigest().getbytes()) .connectiontimeoutms(zookeeperparam.getconnectiontimeoutms()) .sessiontimeoutms(zookeeperparam.getsessiontimeoutms()) .retrypolicy(policy).build(); //开启连接 client.start(); logger.info("zookeeper 初始化完成..."); } public static curatorframework getclient (){ return client ; } public static void closeclient (){ if (client != null){ client.close(); } } }
4、封装系列接口
public interface zookeeperservice { /** * 判断节点是否存在 */ boolean isexistnode (final string path) ; /** * 创建节点 */ void createnode (createmode mode,string path ) ; /** * 设置节点数据 */ void setnodedata (string path, string nodedata) ; /** * 创建节点 */ void createnodeanddata (createmode mode, string path , string nodedata) ; /** * 获取节点数据 */ string getnodedata (string path) ; /** * 获取节点下数据 */ list<string> getnodechild (string path) ; /** * 是否递归删除节点 */ void deletenode (string path,boolean recursive) ; /** * 获取读写锁 */ interprocessreadwritelock getreadwritelock (string path) ; }
5、接口实现
@service public class zookeeperserviceimpl implements zookeeperservice { private static final logger logger = loggerfactory.getlogger(zookeeperserviceimpl.class); @override public boolean isexistnode(string path) { curatorframework client = zookeeperconfig.getclient(); client.sync() ; try { stat stat = client.checkexists().forpath(path); return client.checkexists().forpath(path) != null; } catch (exception e) { logger.error("isexistnode error...", e); e.printstacktrace(); } return false; } @override public void createnode(createmode mode, string path) { curatorframework client = zookeeperconfig.getclient() ; try { // 递归创建所需父节点 client.create().creatingparentsifneeded().withmode(mode).forpath(path); } catch (exception e) { logger.error("createnode error...", e); e.printstacktrace(); } } @override public void setnodedata(string path, string nodedata) { curatorframework client = zookeeperconfig.getclient() ; try { // 设置节点数据 client.setdata().forpath(path, nodedata.getbytes("utf-8")); } catch (exception e) { logger.error("setnodedata error...", e); e.printstacktrace(); } } @override public void createnodeanddata(createmode mode, string path, string nodedata) { curatorframework client = zookeeperconfig.getclient() ; try { // 创建节点,关联数据 client.create().creatingparentsifneeded().withmode(mode) .forpath(path,nodedata.getbytes("utf-8")); } catch (exception e) { logger.error("createnode error...", e); e.printstacktrace(); } } @override public string getnodedata(string path) { curatorframework client = zookeeperconfig.getclient() ; try { // 数据读取和转换 byte[] databyte = client.getdata().forpath(path) ; string data = new string(databyte,"utf-8") ; if (stringutils.isnotempty(data)){ return data ; } }catch (exception e) { logger.error("getnodedata error...", e); e.printstacktrace(); } return null; } @override public list<string> getnodechild(string path) { curatorframework client = zookeeperconfig.getclient() ; list<string> nodechilddatalist = new arraylist<>(); try { // 节点下数据集 nodechilddatalist = client.getchildren().forpath(path); } catch (exception e) { logger.error("getnodechild error...", e); e.printstacktrace(); } return nodechilddatalist; } @override public void deletenode(string path, boolean recursive) { curatorframework client = zookeeperconfig.getclient() ; try { if(recursive) { // 递归删除节点 client.delete().guaranteed().deletingchildrenifneeded().forpath(path); } else { // 删除单个节点 client.delete().guaranteed().forpath(path); } } catch (exception e) { logger.error("deletenode error...", e); e.printstacktrace(); } } @override public interprocessreadwritelock getreadwritelock(string path) { curatorframework client = zookeeperconfig.getclient() ; // 写锁互斥、读写互斥 interprocessreadwritelock readwritelock = new interprocessreadwritelock(client, path); return readwritelock ; } }
6、基于swagger2接口
@api("zookeeper接口管理") @restcontroller public class zookeeperapi { @resource private zookeeperservice zookeeperservice ; @apioperation(value="查询节点数据") @getmapping("/getnodedata") public string getnodedata (string path) { return zookeeperservice.getnodedata(path) ; } @apioperation(value="判断节点是否存在") @getmapping("/isexistnode") public boolean isexistnode (final string path){ return zookeeperservice.isexistnode(path) ; } @apioperation(value="创建节点") @getmapping("/createnode") public string createnode (createmode mode, string path ){ zookeeperservice.createnode(mode,path) ; return "success" ; } @apioperation(value="设置节点数据") @getmapping("/setnodedata") public string setnodedata (string path, string nodedata) { zookeeperservice.setnodedata(path,nodedata) ; return "success" ; } @apioperation(value="创建并设置节点数据") @getmapping("/createnodeanddata") public string createnodeanddata (createmode mode, string path , string nodedata){ zookeeperservice.createnodeanddata(mode,path,nodedata) ; return "success" ; } @apioperation(value="递归获取节点数据") @getmapping("/getnodechild") public list<string> getnodechild (string path) { return zookeeperservice.getnodechild(path) ; } @apioperation(value="是否递归删除节点") @getmapping("/deletenode") public string deletenode (string path,boolean recursive) { zookeeperservice.deletenode(path,recursive) ; return "success" ; } }
四、源代码地址
github·地址 https://github.com/cicadasmile/middle-ware-parent gitee·地址 https://gitee.com/cicadasmile/middle-ware-parent