kafka系列一:单节点伪分布式集群搭建
kafka集群搭建分为单节点的伪分布式集群和多节点的分布式集群两种,首先来看一下单节点伪分布式集群安装。单节点伪分布式集群是指集群由一台zookeeper服务器和一台kafka broker服务器组成,如下图所示:
为了搭建单节点kafka集群,需要依次安装如下软件:安装java-->安装zookeeper-->安装kafka。
一、安装java
可以参考,来进行安装
二、安装zookeeper
下载地址:
下载二进制压缩包 zookeeper-3.4.14.tar.gz ,然后上传到linux服务器指定目录下,本次上传目录为 /software ,然后执行如下命令安装:
tar -zxvf zookeeper-3.4.14.tar.gz
mv zookeeper-3.4.14 /usr/local/zookeeper
cd /usr/local/zookeeper/conf
mv zoo_sample.cfg zoo.cfg
mkdir /usr/local/zookeeper/data
然后修改 zoo.cfg 文件,设置参数:
ticktime=2000
datadir=/usr/local/zookeeper/data
clientport=2181
进入 zookeeper的bin目录下,即 /usr/local/zookeeper/bin/ 目录下,执行命令 ./zkserver.sh start 启动zookeeper服务器,看到如下回显信息则证明zookeeper启动成功:
[root@192 bin]# ./zkserver.sh start zookeeper jmx enabled by default using config: /usr/local/zookeeper/bin/../conf/zoo.cfg starting zookeeper ... started [root@192 bin]#
三、安装单节点kafka集群
下载地址:
目前最新版本是2.2.0,本次下载2.1.1版本的安装包 kafka_2.12-2.1.1.tgz ,其中2.12代表编译kafka的scala语言版本,2.1.1表示kafka的版本。然后上传压缩包到服务器指定目录,本次上传目录为 /software ,然后执行以下命令进行安装:
tar -zxvf kafka_2.12-2.1.1.tgz
mv kafka_2.12-2.1.1 /usr/local/kafka
mkdir /usr/local/kafka/logs
cd /usr/local/kafka/config
编辑本目录下的 server.properties 文件,修改如下配置:
log.dirs=/usr/local/kafka/logs
保存修改后,进入 /usr/local/kafka/bin/ 目录下,使用命令使用命令 ./kafka-server-start.sh -daemon ../config/server.properties 进行启动, -daemon 参数表示后台启动,使用 ps -ef|grep kafka 验证kafka进程是否启动。
通过上面三步,单节点伪分布式集群就已经搭建完成了,下一篇我们将搭建多节点分布式集群。