CentOS7集群安装配置Kafka教程

前提

• 官网下载kafka_2.11-2.3.0.tgz
  https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka_2.11-2.3.0.tgz
• 已安装zookeeper：
  教程：https://blog.csdn.net/sndayYU/article/details/100537922
  三台服务器192.168.230.128:2181,192.168.230.129:2181,192.168.230.130:2181

集群

安装

1.3台服务器先单机安装
https://blog.csdn.net/sndayYU/article/details/100557137
2.分别修改3台: 安装目录/config/server.properties，检查broker.id、listeners这两个参数每台服务器是不同的

# 不重复的整数，可以用ip最后一个字段----------重点
broker.id=128        
# 默认分区划分数，一般为节点数乘以2
num.partitions=6             
# --------新增到最后----------------------------
# 启用删除top
delete.topic.enable=true	
# 默认副本数
default.replication.factor=2	
# 自动创建topic
auto.create.topics.enable=true	

3.启动3台

[[email protected] /]# cd /usr/local/kafka_2.11-2.3.0/
[[email protected] kafka_2.11-2.3.0]# bin/kafka-server-start.sh config/server.properties &

验证

1.128服务器创建topic

[[email protected] kafka_2.11-2.3.0]# ./bin/kafka-topics.sh --create --zookeeper 192.168.230.128:2181 --replication-factor 2 --partitions 3 --topic MY_TOPIC

2.129查看topic是否存在

[[email protected] kafka_2.11-2.3.0]# ./bin/kafka-topics.sh --describe --zookeeper 192.168.230.130:2181 --topic MY_TOPIC
Topic:MY_TOPIC	PartitionCount:3	ReplicationFactor:2	Configs:
	Topic: MY_TOPIC	Partition: 0	Leader: 128	Replicas: 128,130	Isr: 128,130
	Topic: MY_TOPIC	Partition: 1	Leader: 129	Replicas: 129,128	Isr: 129,128
	Topic: MY_TOPIC	Partition: 2	Leader: 130	Replicas: 130,129	Isr: 130,129

3.xshell新建129的窗口，启动生产者，发送消息（–broker-list后面其实带一个地址就可以了）

./bin/kafka-console-producer.sh --broker-list 192.168.230.128:9092,192.168.230.129:9092,192.168.230.130:9092 --topic MY_TOPIC

4.xshell新建130的窗口，启动消费者，看是否能收到消息

./bin/kafka-console-consumer.sh --bootstrap-server 192.168.230.128:9092  --topic MY_TOPIC --from-beginning

收到即成功，旧版本可能参数"–zookeeper ip:2181"，新版本使用kafka的地址，同样只要一个就好。

假如发现消费者无法消费消息的情况，可能是刚开始单机环境的影响，请关闭kafka、zookeeper，清除data、log文件夹，重启即可，注意zookeeper的data文件夹里myid文件不要删除了！！！

参数

log.retention.hours=168 ： 日志保留7天
其他可参考博客: https://blog.csdn.net/zhongwumao/article/details/81171143