欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

CentOS7集群安装配置Kafka教程

程序员文章站 2022-06-14 10:57:45
...

CentOS7集群安装配置Kafka教程

前提

  • 官网下载kafka_2.11-2.3.0.tgz
    https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka_2.11-2.3.0.tgz
  • 已安装zookeeper:
    教程:https://blog.csdn.net/sndayYU/article/details/100537922
    三台服务器192.168.230.128:2181,192.168.230.129:2181,192.168.230.130:2181

集群

安装

1.3台服务器先单机安装
https://blog.csdn.net/sndayYU/article/details/100557137
2.分别修改3台: 安装目录/config/server.properties,检查broker.id、listeners这两个参数每台服务器是不同的

# 不重复的整数,可以用ip最后一个字段----------重点
broker.id=128        
# 默认分区划分数,一般为节点数乘以2
num.partitions=6             
# --------新增到最后----------------------------
# 启用删除top
delete.topic.enable=true	
# 默认副本数
default.replication.factor=2	
# 自动创建topic
auto.create.topics.enable=true	

3.启动3台

[[email protected] /]# cd /usr/local/kafka_2.11-2.3.0/
[[email protected] kafka_2.11-2.3.0]# bin/kafka-server-start.sh config/server.properties &

验证

1.128服务器创建topic

[[email protected] kafka_2.11-2.3.0]# ./bin/kafka-topics.sh --create --zookeeper 192.168.230.128:2181 --replication-factor 2 --partitions 3 --topic MY_TOPIC

2.129查看topic是否存在

[[email protected] kafka_2.11-2.3.0]# ./bin/kafka-topics.sh --describe --zookeeper 192.168.230.130:2181 --topic MY_TOPIC
Topic:MY_TOPIC	PartitionCount:3	ReplicationFactor:2	Configs:
	Topic: MY_TOPIC	Partition: 0	Leader: 128	Replicas: 128,130	Isr: 128,130
	Topic: MY_TOPIC	Partition: 1	Leader: 129	Replicas: 129,128	Isr: 129,128
	Topic: MY_TOPIC	Partition: 2	Leader: 130	Replicas: 130,129	Isr: 130,129

3.xshell新建129的窗口,启动生产者,发送消息(–broker-list后面其实带一个地址就可以了)

./bin/kafka-console-producer.sh --broker-list 192.168.230.128:9092,192.168.230.129:9092,192.168.230.130:9092 --topic MY_TOPIC

4.xshell新建130的窗口,启动消费者,看是否能收到消息

./bin/kafka-console-consumer.sh --bootstrap-server 192.168.230.128:9092  --topic MY_TOPIC --from-beginning

收到即成功,旧版本可能参数"–zookeeper ip:2181",新版本使用kafka的地址,同样只要一个就好。

假如发现消费者无法消费消息的情况,可能是刚开始单机环境的影响,请关闭kafka、zookeeper,清除data、log文件夹,重启即可,注意zookeeper的data文件夹里myid文件不要删除了!!!

参数

log.retention.hours=168 : 日志保留7天
其他可参考博客: https://blog.csdn.net/zhongwumao/article/details/81171143

相关标签: Kafka