Zookeeper分布式集群搭建
程序员文章站
2022-05-07 21:25:42
文中Zookeeper分布式集群搭建在Linux CentOS7系统之上。搭建大数据分布式集群,不建议使用root用户直接操作,故文中使用bigdata用户进行集群的搭建。 一、环境准备 软件 版本 Linux系统 CentOS7 JDK jdk-8u221-linux-x64.tar.gz Zoo ......
文中zookeeper分布式集群搭建在linux centos7系统之上。搭建大数据分布式集群,不建议使用root用户直接操作,故文中使用bigdata用户进行集群的搭建。
一、环境准备
软件 | 版本 |
linux系统 | centos7 |
jdk | jdk-8u221-linux-x64.tar.gz |
zookeeper | zookeeper-3.4.5-cdh5.14.2.tar.gz |
二、机器配置
主机名 | hadoop01 | hadoop02 | hadoop03 |
内存 | 8g | 8g | 8g |
cpu | 4核 | 4核 | 4核 |
硬盘 | 500g | 500g | 500g |
服务 |
quorumpeermain
|
quorumpeermain
|
quorumpeermain
|
三、前期准备工作
1、关闭防火墙(使用root权限,将ip修改成对应的ip地址)
firewall-cmd --state # 查看防火墙状态 systemctl stop firewalld.service # 停止防火墙 systemctl disable firewalld.service # 禁止开机启动防火墙
2、配置host主机映射(使用root权限,将ip修改成对应的ip地址)
sudo vi /etc/hosts ip1 hadoop01 ip2 hadoop02 ip3 hadoop03
3、创建普通用户(bigdata)
useradd bigdata # 添加普通用户 passwd bigdata # 为普通用户设置密码
4、为bigdata用户配置ssh免密码登陆(具体操作步骤略,执行命令如下)
ssh-keygen -t rsa # 生成密钥对(一路回车即可) ssh-copy-id hadoop01 # 分别拷贝公钥到三台机器上
5、配置三台机器的时间同步
待更新
四、zookeeper分布式集群搭建
1、安装jdk,将jdk安装在/usr/local目录下, 要求执行用户需要有该目录下的权限
1.1、解压jdk
tar zxvf jdk-8u221-linux-x64.tar.gz -c /usr/local
1.2、配置环境变量
vi ~/.bash_profile
## 在行末添加以下内容,并保存关闭 ############# java_home ################ export java_home=/usr/local/jdk1.8.0_221 export path=$path:$java_home/bin
1.3、生效环境变量
source ~/.bash_profile
1.4、验证
java -version
2、搭建zk环境,zk安装在/opt/software目录下,要求执行用户需要有该目录下的权限
2.1、下载并解压安装包
tar zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -c /opt/software
2.2、创建目录
mkdir -p /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkdata
2.3、修改配置文件
mv zoo_sample.cfg zoo.cfg # 重命名配置文件 vi zoo.cfg # 修改datadir属性 datadir=/opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkdata # 添加以下内容 server.1=hadoop01:2888:3888 server.2=hadoop02:2888:3888 server.3=hadoop03:2888:3888
2.4、向另外两台机器分发
scp -r zookeeper-3.4.5-cdh5.14.2 hadoop02:/opt/software scp -r zookeeper-3.4.5-cdh5.14.2 hadoop03:/opt/software
2.5、分别在三台机器上添加myid文件
# 在hadoop01上执行 echo 1 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkdata/myid # 在hadoop02上执行 echo 2 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkdata/myid # 在hadoop03上执行 echo 3 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkdata/myid
2.6、分别在三台机器上配置zk环境变量
vi ~/.bash_profile ## 在行末添加以下内容,并保存关闭 ############# zk_home ################ export zk_home=/opt/software/zookeeper-3.4.5-cdh5.14.2 export path=$path:$zk_home/bin
2.7、生效环境变量
source ~/.bash_profile
2.8、分别在三台机器上启动zk
zkserver.sh start # 启动zk
zkserver.sh status # 查看zk状态
zkserver.sh stop # 停止zk
至此,zookeeper分布式集群搭建完成,可以通过jps命令查看quorumpeermain进程是否存在,或者使用zkcli.sh进入zk客户端,来验证集群是否安装成功。
欢迎大家提出建议或疑问。
上一篇: 写一首酸诗就能当官,宋仁宗这么好哄吗?
推荐阅读
-
ZooKeeper 03 - ZooKeeper集群的脑裂问题 (Split Brain问题)
-
java实现分布式项目搭建的方法
-
Linux(Centos7)下redis5集群搭建和使用说明详解
-
centos7下搭建ZooKeeper3.4中间件常用命令小结
-
Linux下ZooKeeper分布式集群安装教程
-
在Linux之上搭建DB2数据库分布式环境DPF指导手册
-
kafka分布式集群搭建
-
Linux系统 CentOS 7怎么搭建集群? 搭建高可用集群的步骤
-
基于缓存或zookeeper的分布式锁实现
-
nginx+apache+mysql+php+memcached+squid搭建集群web环境