欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识！
您现在的位置是： 首页

Zookeeper集群搭建

程序员文章站 2022-05-07 14:26:31
...

软件版本：

  • CentOS 6.7
  • jdk-8u171-linux-x64.tar.gz
  • zookeeper-3.4.12.tar.gz

一、Zookeeper完全分布式集群搭建

1、安装JDK

1.1、解压JDK：tar -zxvf jdk-8u171-linux-x64.tar.gz -C /export/server/

1.2、配置JDK环境变量：

export JAVA_HOME="/export/server/jdk1.8.0_171"
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH

2、安装zookeeper

2.1、解压zookeeper：tar -zxvf zookeeper-3.4.12.tar.gz -C /export/server/

2.2、修改配置文件：mv zoo_sample.cfg zoo.cfg

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# 指定存储快照文件snapshot的目录
dataDir=/export/data/zookeeper/data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
# 添加节点
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

server.id=host:port:port解释

  • id：指本节点下myid文件中的编号
  • 2888:  指 Flower 跟 Leader的通信端口，简称服务端内部通信的端口（默认2888）
  • 3888：指选举端口（默认是3888）

建议：最好修改下运行时Zookeeper生成的日志文件路径，同时修改log4j.properties、zkEnv.sh，不修改默认日志文件生成在当前启动路径下，具体修改方式在附录中

2.3、配置Zookeeper环境变量

export ZOOKEEPER_HOME=/export/server/zookeeper-3.4.12
export PATH=$PATH:$ZOOKEEPER_HOME/bin

注意：刷新配置文件，source /etc/profile

2.4、发送目录 /export/server/zookeeper-3.4.12 到 其他节点

scp -r /export/server/zookeeper aaa@qq.com:/export/server/

scp -r /export/server/zookeeper aaa@qq.com:/export/server/

scp -r /etc/profile aaa@qq.com:/etc

scp -r /etc/profile aaa@qq.com:/etc

注意：每个节点都必须刷新配置文件，source /etc/profile

2.5、分别在三个节点创建目录，指定节点id

mkdir -p /export/data/zookeeper/data

echo 1 > /export/data/zookeeper/data/myid

2.6、分别启动zookeeper：zkServer.sh status

2.7、验证zookeeper：

[aaa@qq.com ~]# netstat -anop | grep 2181
tcp        0      0 :::2181                     :::*                        LISTEN      25119/java          off (0.00/0/0)
tcp        0      0 ::ffff:127.0.0.1:2181       ::ffff:127.0.0.1:44111      ESTABLISHED 25119/java          off (0.00/0/0)
tcp        0      0 ::ffff:127.0.0.1:44111      ::ffff:127.0.0.1:2181       ESTABLISHED 25154/java          off (0.00/0/0)

2.8、登录客户端

  • 本地模式：zkCli.sh -h
  • 远程模式：zkCli.sh -server node01:2181

2.9、Shell命令行操作

stat path [watch]	
set path data [version]		#更新Children数据
ls path [watch]				#获取指定节点列表
delquota [-n|-b] path
ls2 path [watch]			#获取节点详细信息
setAcl path acl
setquota -n|-b val path
history 					#查询历史命令行操作
redo cmdno
printwatches on|off
delete path [version]		#删除指定节点（存在子节点时，使用递归删除）
sync path
listquota path
rmr path					#递归删除节点
get path [watch]			#获取指定节点数据
create [-s] [-e] path data acl	#创建节点，共四种模式，默认创建的是无序、永久节点
addauth scheme auth
quit 						#退出客户端
getAcl path
close 						#断开与客户端连接，但不退出客户端
connect host:port			#处于断开与客户端连接时，可重新连接

3、Zookeeper API操作

3.1、导入依赖

<dependencies>
   <dependency>
        <groupId>org.apache.zookeeper</groupId>
        <artifactId>zookeeper</artifactId>
        <version>3.4.12</version>
   </dependency>
   <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
   </dependency>
</dependencies>

3.2、API操作

public class APITest {

    private ZooKeeper zooKeeper;

    /**
     * 查询单极目录下的节点信息
     *
     * @param path
     * @throws Exception
     */
    public void findOne(String path) throws Exception {
        System.out.println("path = " + path);
        List<String> list = zooKeeper.getChildren(path, null);
        if (null == list || 0 == list.size()) {
            return;
        }
        for (String s : list) {
            if (path.equals("/")) {
                findOne(path + s);
            } else {
                findOne(path + "/" + s);
            }
        }
    }

    /**
     * 查询所有Children
     *
     * @throws Exception
     */
    @Test
    public void findAll() throws Exception {
        this.findOne("/");
    }

    /**
     * 修改Children数据
     *
     * @throws Exception
     */
    @Test
    public void setData() throws Exception {
        Stat stat = zooKeeper.setData("/one", "HelloZookeeper".getBytes(), 0);
        int cversion = stat.getCversion();
        System.out.println("cversion = " + cversion);
    }

    /**
     * 创建临时节点，Client断开连接，临时节点消失
     *
     * @throws Exception
     */
    @Test
    public void createEmp() throws Exception {

        String s = zooKeeper.create("/three", "thrid".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL);
        System.out.println("s = " + s);
    }

    @Test
    public void deleteChlid() throws Exception {
        zooKeeper.delete("/three", -1);
    }

    /**
     * 测试观察者模式，当Children数据被修改时，调用process()方法，再次注册Watcher
     *
     * @throws Exception
     */
    @Test
    public void watcher() throws Exception {
        Stat stat = new Stat();
        Watcher watcher = new Watcher() {
            public void process(WatchedEvent watchedEvent) {
                System.out.println("数据已经被修改了");
                try {
                    // this指当前对象Watcher 
                    zooKeeper.getData("/three", this, null);
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        };
        byte[] data = zooKeeper.getData("/three", watcher, stat);
        System.out.println("data = " + new String(data));
        while (true) {
            Thread.sleep(1000);
        }
    }

    // 创建ZooKeeper对象
    @Before
    public void setUp() throws Exception {
        zooKeeper = new ZooKeeper("node01:2181，node02:2181，node03:2181", 5000, null);
    }

    // 释放资源
    @After
    public void tearDown() throws Exception {
        zooKeeper.close();
    }
}

注意：测试Watch模式，需要了解Watch机制的三个特点

1）、一次性触发（只监听一次）

事件发生,触发监听，一个watcher event就会被发送到设置监听的客户端，这种效果是一次性的，后续再次发生同样的事件，不会再次触发

2）、事件封装

ZooKeeper使用WatchedEvent对象来封装服务端事件并传递

WatchedEvent包含事件的三个基本属性：通知状态（keeperState），事件类型（EventType）和节点路径（path）

WatchedEvent通知事件从服务端发送到客户端是异步的 

3）、先注册再触发

Zookeeper中的watch机制，必须客户端先去服务端注册监听，这样事件发送才会触发监听，通知到客户端

二、附录

1、指定Zookeeper启动日志路径

修改log4j.properties配置文件

Zookeeper集群搭建

修改zkEnv.sh

Zookeeper集群搭建

2、zoo.conf配置详解

参数名

说明

clientPort

客户端连接server的端口，即对外服务端口，一般设置为2181吧。

dataDir

存储快照文件snapshot的目录。默认情况下，事务日志也会存储在这里。建议同时配置参数dataLogDir, 事务日志的写性能直接影响zk性能。

tickTime

ZK中的一个时间单元。ZK中所有时间都是以这个时间单元为基础，进行整数倍配置的。例如，session的最小超时时间是2*tickTime。

dataLogDir

事务日志输出目录。尽量给事务日志的输出配置单独的磁盘或是挂载点，这将极大的提升ZK性能。  
（No Java system property）

globalOutstandingLimit

最大请求堆积数。默认是1000。ZK运行的时候， 尽管server已经没有空闲来处理更多的客户端请求了，但是还是允许客户端将请求提交到服务器上来，以提高吞吐性能。当然，为了防止Server内存溢出，这个请求堆积数还是需要限制下的。  
(Java system property:zookeeper.globalOutstandingLimit. )

preAllocSize

预先开辟磁盘空间，用于后续写入事务日志。默认是64M，每个事务日志大小就是64M。如果ZK的快照频率较大的话，建议适当减小这个参数。(Java system property:zookeeper.preAllocSize )

snapCount

每进行snapCount次事务日志输出后，触发一次快照(snapshot), 此时，ZK会生成一个snapshot.*文件，同时创建一个新的事务日志文件log.*。默认是100000.（真正的代码实现中，会进行一定的随机数处理，以避免所有服务器在同一时间进行快照而影响性能）(Java system property:zookeeper.snapCount )

traceFile

用于记录所有请求的log，一般调试过程中可以使用，但是生产环境不建议使用，会严重影响性能。(Java system property:? requestTraceFile )

maxClientCnxns

单个客户端与单台服务器之间的连接数的限制，是ip级别的，默认是60，如果设置为0，那么表明不作任何限制。请注意这个限制的使用范围，仅仅是单台客户端机器与单台ZK服务器之间的连接数限制，不是针对指定客户端IP，也不是ZK集群的连接数限制，也不是单台ZK对所有客户端的连接数限制。指定客户端IP的限制策略，这里有一个patch，可以尝试一下：http://rdc.taobao.com/team/jm/archives/1334（No Java system property）

clientPortAddress

对于多网卡的机器，可以为每个IP指定不同的监听端口。默认情况是所有IP都监听 clientPort 指定的端口。  New in 3.3.0

minSessionTimeoutmaxSessionTimeout

Session超时时间限制，如果客户端设置的超时时间不在这个范围，那么会被强制设置为最大或最小时间。默认的Session超时时间是在2 *  tickTime ~ 20 * tickTime 这个范围 New in 3.3.0

fsync.warningthresholdms

事务日志输出时，如果调用fsync方法超过指定的超时时间，那么会在日志中输出警告信息。默认是1000ms。(Java system property:  fsync.warningthresholdms )New in 3.3.4

autopurge.purgeInterval

在上文中已经提到，3.4.0及之后版本，ZK提供了自动清理事务日志和快照文件的功能，这个参数指定了清理频率，单位是小时，需要配置一个1或更大的整数，默认是0，表示不开启自动清理功能。(No Java system property)  New in 3.4.0

autopurge.snapRetainCount

这个参数和上面的参数搭配使用，这个参数指定了需要保留的文件数目。默认是保留3个。(No Java system property)  New in 3.4.0

electionAlg

在之前的版本中， 这个参数配置是允许我们选择leader选举算法，但是由于在以后的版本中，只会留下一种“TCP-based version of fast leader election”算法，所以这个参数目前看来没有用了，这里也不详细展开说了。(No Java system property)

initLimit

Follower在启动过程中，会从Leader同步所有最新数据，然后确定自己能够对外服务的起始状态。Leader允许F在 initLimit 时间内完成这个工作。通常情况下，我们不用太在意这个参数的设置。如果ZK集群的数据量确实很大了，F在启动的时候，从Leader上同步数据的时间也会相应变长，因此在这种情况下，有必要适当调大这个参数了。(No Java system property)

syncLimit

在运行过程中，Leader负责与ZK集群中所有机器进行通信，例如通过一些心跳检测机制，来检测机器的存活状态。如果L发出心跳包在syncLimit之后，还没有从F那里收到响应，那么就认为这个F已经不在线了。注意：不要把这个参数设置得过大，否则可能会掩盖一些问题。(No Java system property)

leaderServes

默认情况下，Leader是会接受客户端连接，并提供正常的读写服务。但是，如果你想让Leader专注于集群中机器的协调，那么可以将这个参数设置为no，这样一来，会大大提高写操作的性能。(Java system property: zookeeper. leaderServes )。

server.x=[hostname]:nnnnn[:nnnnn]

这里的x是一个数字，与myid文件中的id是一致的。右边可以配置两个端口，第一个端口用于F和L之间的数据同步和其它通信，第二个端口用于Leader选举过程中投票通信。  
(No Java system property)

group.x=nnnnn[:nnnnn]weight.x=nnnnn

对机器分组和权重设置，可以  参见这里(No Java system property)

cnxTimeout

Leader选举过程中，打开一次连接的超时时间，默认是5s。(Java system property: zookeeper.  cnxTimeout )

zookeeper.DigestAuthenticationProvider
.superDigest

ZK权限设置相关，具体参见  《  使用super  身份对有权限的节点进行操作 》  和  《 ZooKeeper   权限控制 》

skipACL

对所有客户端请求都不作ACL检查。如果之前节点上设置有权限限制，一旦服务器上打开这个开头，那么也将失效。(Java system property:  zookeeper.skipACL )

forceSync

这个参数确定了是否需要在事务日志提交的时候调用 FileChannel .force来保证数据完全同步到磁盘。(Java system property: zookeeper.forceSync )

jute.maxbuffer

每个节点最大数据量，是默认是1M。这个限制必须在server和client端都进行设置才会生效。(Java system property: jute.maxbuffer )
相关标签： Zookeeper

上一篇： Follow your heart (103)----Jobs is gone jobs 

下一篇： java如何判断list是否为空？

推荐阅读