zookeeper特性与节点说明
一、zookeeper概要、背景及作用
zookeeper产生背景:
项目从单体到分布式转变之后,将会产生多个节点之间协同的问题。如:
- 每天的定时任务由谁哪个节点来执行?
- rpc调用时的服务发现?
- 如何保证并发请求的幂等
- ....
这些问题可以统一归纳为多节点协调问题,如果靠节点自身进行协调这是非常不可靠的,性能上也不可取。必须由一个独立的服务做协调工作,它必须可靠,而且保证性能。
zookeeper概要:
zookeeper是用于分布式应用程序的协调服务。它公开了一组简单的api,分布式应用程序可以基于这些api用于同步,节点状态、配置等信息、服务注册等信息。其由java编写,支持java 和c两种语言的客户端。
znode 节点
zookeeper 中数据基本单元叫节点,节点之下可包含子节点,最后以树级方式程现。每个节点拥有唯一的路径path。客户端基于path上传节点数据,zookeeper 收到后会实时通知对该路径进行监听的客户端。
二、部署与常规配置
zookeeper 基于java开发,下载后只要有对应jvm环境即可运行。其默认的端口号是2181运行前得保证其不冲突。
版本说明:
2019年5月20日发行的3.5.5是3.5分支的第一个稳定版本。此版本被认为是3.4稳定分支的后续版本,可以用于生产。基于3.4它包含以下新功能
- 动态重新配置
- 本地会议
- 新节点类型:容器,ttl
- 原子广播协议的ssl支持
- 删除观察者的能力
- 多线程提交处理器
- 升级到netty 4.1
- maven构建
另请注意:建议的最低jdk版本为1.8
文件说明:
- apache-zookeeper-xxx-tar.gz 代表源代码
- apache-zookeeper-xxx-bin.tar.gz 运行版本
下载地址:
具体部署流程:
#下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/current/apache-zookeeper-3.5.5-bin.tar.gz #解压 tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz #拷贝默认配置 cd {zookeeper_home}/conf cp zoo_sample.cfg zoo.cfg #启动 {zookeeper_home}/bin/zkserver.sh
常规配置文件说明:
# zookeeper时间配置中的基本单位 (毫秒) ticktime=2000 # 允许follower初始化连接到leader最大时长,它表示ticktime时间倍数 即:initlimit*ticktime initlimit=10 # 允许follower与leader数据同步最大时长,它表示ticktime时间倍数 synclimit=5 #zookeper 数据存储目录 datadir=/tmp/zookeeper #对客户端提供的端口号 clientport=2181 #单个客户端与zookeeper最大并发连接数 maxclientcnxns=60 # 保存的数据快照数量,之外的将会被清除 autopurge.snapretaincount=3 #自动触发清除任务时间间隔,小时为单位。默认为0,表示不自动清除。 autopurge.purgeinterval=1
客户端命令:
基本命令列表
close
关闭当前会话
connect host:port
重新连接指定zookeeper服务
create [-s] [-e] [-c] [-t ttl] path [data] [acl]
创建节点
delete [-v version] path
删除节点,(不能存在子节点)
deleteall path
删除路径及所有子节点
setquota -n|-b val path
设置节点限额 -n 子节点数 -b 字节数
listquota path
查看节点限额
delquota [-n|-b] path
删除节点限额
get [-s] [-w] path
查看节点数据 -s 包含节点状态 -w 添加监听
getacl [-s] path
ls [-s] [-w] [-r] path
列出子节点 -s状态 -r 递归查看所有子节点 -w 添加监听
printwatches on|off
是否打印监听事件
quit
退出客户端
history
查看执行的历史记录
redo cmdno
重复 执行命令,history 中命令编号确定
removewatches path [-c|-d|-a] [-l]
删除指定监听
set [-s] [-v version] path data
设置值
setacl [-s] [-v version] [-r] path acl
为节点设置acl权限
stat [-w] path
查看节点状态 -w 添加监听
sync path
强制同步节点
node数据的增删改查
# 列出子节点 ls / #创建节点 create /luban "luban is good man" # 查看节点 get /luban # 创建子节点 create /luban/sex "man" # 删除节点 delete /luban/sex # 删除所有节点 包括子节点 deleteall /luban
[zk: 127.0.0.1:2181(connected) 20] ls / [admin, brokers, cluster, config, consumers, controller, controller_epoch, isr_change_notification, latest_producer_id_block, log_dir_event_notification, tmp0000000095, zookeeper] [zk: 127.0.0.1:2181(connected) 21] create /xiaoqiang "xiaoqiang is a good man" created /xiaoqiang [zk: 127.0.0.1:2181(connected) 22] get /xiaoqiang xiaoqiang is a good man [zk: 127.0.0.1:2181(connected) 23] create /xiaoqiang/age 17 created /xiaoqiang/age [zk: 127.0.0.1:2181(connected) 24] delete /xiaoqiang/age [zk: 127.0.0.1:2181(connected) 25] deleteall /xiaoqiang
三、zookeeper节点介绍
zookeeper 中节点叫znode存储结构上跟文件系统类似,以树级结构进行存储。不同之外在于znode没有目录的概念,不能执行类似cd之类的命令。znode结构包含如下:
- path:唯一路径
- childnode:子节点
- stat:状态属性
-
type:节点类型
节点类型
类型 描述 persistent 持久节点 persistent_sequential 持久序号节点 ephemeral 临时节点(不可在拥有子节点) ephemeral_sequential 临时序号节点(不可在拥有子节点)
- persistent(持久节点)
持久化保存的节点,也是默认创建的
#默认创建的就是持久节点 create /test
- persistent_sequential(持久序号节点)
创建时zookeeper 会在路径上加上序号作为后缀,。非常适合用于分布式锁、分布式选举等场景。创建时添加 -s 参数即可。
#创建序号节点 create -s /test #返回创建的实际路径 created /test0000000001 create -s /test #返回创建的实际路径2 created /test0000000002
- ephemeral(临时节点)
临时节点会在客户端会话断开后自动删除。适用于心跳,服务发现等场景。创建时添加参数-e 即可。
#创建临时节点, 断开会话 在连接将会自动删除 create -e /temp
- ephemeral_sequential(临时序号节点)
与持久序号节点类似,不同之处在于ephemeral_sequential是临时的会在会话断开后删除。创建时添加 -e -s
create -e -s /temp/seq
节点属性
# 查看节点属性 stat /luban
其属性说明如下表:
#创建节点的事物id czxid = 0x385 #创建时间 ctime = tue sep 24 17:26:28 cst 2019 #修改节点的事物id mzxid = 0x385 #最后修改时间 mtime = tue sep 24 17:26:28 cst 2019 # 子节点变更的事物id pzxid = 0x385 #这表示对此znode的子节点进行的更改次数(不包括子节点) cversion = 0 # 数据版本,变更次数 dataversion = 0 #权限版本,变更次数 aclversion = 0 #临时节点所属会话id ephemeralowner = 0x0 #数据长度 datalength = 17 #子节点数(不包括子子节点) numchildren = 0
节点的监听:
客户添加 -w 参数可实时监听节点与子节点的变化,并且实时收到通知。非常适用保障分布式情况下的数据一至性。其使用方式如下:
| 命令 | 描述 |
|:----|:----|
| ls -w path | 监听子节点的变化(增,删) |
| get -w path | 监听节点数据的变化 |
| stat -w path | 监听节点属性的变化 |
| printwatches on|off | 触发监听后,是否打印监听事件(默认on) |
acl权限设置
acl全称为access control list(访问控制列表),用于控制资源的访问权限。zookeeper使用acl来控制对其znode的防问。基于scheme