kafka+zookeeper+kafka-manager集群部署(集群版)
程序员文章站
2022-03-26 21:41:00
...
服务器规划
172.25.62.100 | 172.25.62.101 | 172.25.62.102 |
zookeeper1 | zookeeper2 | zookeeper3 |
kafka1 | kafka2 | kafka3 |
kafka-manager |
一、搭建zookeeper集群并启动
参考:https://blog.csdn.net/qq_35859844/article/details/87908283
二、搭建kafka集群
1.下载kafka
wget https://archive.apache.org/dist/kafka/2.0.0/kafka_2.11-2.0.0.tgz
a.创建kafka消息目录,主要存放kafka消息
mkdir kafkalogs
b.解压kafka
tar -zxvf kafka_2.11-0.9.0.1.tgz
c.进入kafka 配置文件 server.properties,修改过的地方如下(只展示其中一台服务器的修改,其他两台类似修改)
############################# Server Basics #############################
broker.id=0 #其他两台改为 1, 2
############################# Socket Server Settings #############################
#其他两台只需要修改成对应ip即可
listeners=PLAINTEXT://172.25.62.102:9092
port=9092
host.name=172.25.62.102
advertised.host.name=172.25.62.102
advertised.port=9092
############################# Log Basics #############################
log.dirs=/home/test/kafka/kafkalogs #修改成自己新建的日志文件目录
############################# Zookeeper #############################
zookeeper.connect=172.25.62.100:2181,172.25.62.101:2181,172.25.62.102:2181
############################# Group Coordinator Settings #############################
group.initial.rebalance.delay.ms=0
group.initial.rebalance.delay.ms=0
delete.topic.enable=true #允许删除topic
auto.create.topics.enable = true #允许自动创建topic
2.启动三台kafka
进入kafka bin目录,后台启动kafka,(zookeeper集群必须先启动)
./kafka-server-start.sh -daemon ../config/server.properties
3.测试kafka集群是否启动成功
a.创建topic
./kafka-topics.sh --create --zookeeper 172.25.62.100:2181 --replication-factor 2 --partitions 1 --topic guanguan
b.创建生产者,此时处于阻塞状态,可以直接输入消息
./kafka-console-producer.sh --broker-list 192.168.7.100:9092 --topic guanguan
c.创建消费者,此时处于阻塞状态,可以看到生产者发的消息即为成功
./kafka-console-consumer.sh --bootstrap-server 172.25.62.100:9092 --topic guanguan --from-beginning
三、搭建kafka-manager
1.下载kafka-manager
2.修改application.conf如下:
kafka-manager.zkhosts="172.25.62.100:2181,172.25.62.101:2181,172.25.62.102:2181" #改成zookeeper集群地址
3.浏览器打开地址172.25.62.101:9000
如上图操作即可
上一篇: Python解析json文件
下一篇: json数据在页面上格式化展示