欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

kafka+zookeeper+kafka-manager集群部署(集群版)

程序员文章站 2022-03-26 21:41:00
...

                                                                                      服务器规划

172.25.62.100 172.25.62.101 172.25.62.102
zookeeper1 zookeeper2 zookeeper3
kafka1 kafka2 kafka3
  kafka-manager  

一、搭建zookeeper集群并启动

参考:https://blog.csdn.net/qq_35859844/article/details/87908283

二、搭建kafka集群

1.下载kafka

wget https://archive.apache.org/dist/kafka/2.0.0/kafka_2.11-2.0.0.tgz

a.创建kafka消息目录,主要存放kafka消息

mkdir kafkalogs

b.解压kafka

tar -zxvf kafka_2.11-0.9.0.1.tgz

c.进入kafka 配置文件 server.properties,修改过的地方如下(只展示其中一台服务器的修改,其他两台类似修改)


############################# Server Basics #############################
broker.id=0  #其他两台改为 1, 2

############################# Socket Server Settings #############################
#其他两台只需要修改成对应ip即可
listeners=PLAINTEXT://172.25.62.102:9092
port=9092
host.name=172.25.62.102
advertised.host.name=172.25.62.102
advertised.port=9092

############################# Log Basics #############################
log.dirs=/home/test/kafka/kafkalogs  #修改成自己新建的日志文件目录

############################# Zookeeper #############################
zookeeper.connect=172.25.62.100:2181,172.25.62.101:2181,172.25.62.102:2181

############################# Group Coordinator Settings #############################
group.initial.rebalance.delay.ms=0
group.initial.rebalance.delay.ms=0
delete.topic.enable=true  #允许删除topic
auto.create.topics.enable = true #允许自动创建topic

2.启动三台kafka

 进入kafka bin目录,后台启动kafka,(zookeeper集群必须先启动)

./kafka-server-start.sh -daemon ../config/server.properties

3.测试kafka集群是否启动成功

a.创建topic

./kafka-topics.sh --create --zookeeper 172.25.62.100:2181 --replication-factor 2 --partitions 1 --topic guanguan

b.创建生产者,此时处于阻塞状态,可以直接输入消息

./kafka-console-producer.sh --broker-list 192.168.7.100:9092 --topic guanguan

c.创建消费者,此时处于阻塞状态,可以看到生产者发的消息即为成功

./kafka-console-consumer.sh --bootstrap-server 172.25.62.100:9092 --topic guanguan --from-beginning

三、搭建kafka-manager

1.下载kafka-manager

2.修改application.conf如下:

 kafka-manager.zkhosts="172.25.62.100:2181,172.25.62.101:2181,172.25.62.102:2181" #改成zookeeper集群地址

3.浏览器打开地址172.25.62.101:9000

kafka+zookeeper+kafka-manager集群部署(集群版)

如上图操作即可

 

 

相关标签: kafka