欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Kafka的集群搭建

程序员文章站 2022-06-14 09:07:06
...

对于kafka来说,一个单独的broker意味着kafka集群中只有一个节点。要想增加kafka集群中的节点数量,只需要多启动 几个broker实例即可。为了有更好的理解,现在我们在一台机器上同时启动三个broker实例。

1. 将kafka的配置文件准备三份

[[email protected] config]$ pwd
/home/allen/packages/kafka_2.13-2.8.0/config
[[email protected] config]$ cp server.properties server-1.properties 
[[email protected] config]$ cp server.properties server-2.properties 

2. 为配置文件修改必要的信息 

[[email protected] config]$ vi server-1.properties 

log.dirs=/home/allen/packages/kafka_2.13-2.8.0/log/kafka-logs-1
listeners=PLAINTEXT://192.168.0.101:9093
broker.id=1
zookeeper.connect=localhost:2181

[[email protected] config]$ vi server-2.properties

log.dirs=/home/allen/packages/kafka_2.13-2.8.0/log/kafka-logs-2
listeners=PLAINTEXT://192.168.0.101:9094
broker.id=2
zookeeper.connect=localhost:2181

3. 启动另外2台broker

[[email protected] config]$ pwd
/home/allen/packages/kafka_2.13-2.8.0/
[[email protected] kafka_2.13-2.8.0]$ bin/kafka-server-start.sh -daemon config/server-1.properties 
[[email protected] kafka_2.13-2.8.0]$ bin/kafka-server-start.sh -daemon config/server-2.properties 

4. 查看启动情况

Kafka的集群搭建

在zookeeper中查看

Kafka的集群搭建

5. 详细介绍partition中副本概念

创建一个新的topic,副本数设置为3,分区数设置为2:

bin/kafka-topics.sh --create --zookeeper 192.168.0.101:2181 --replication-factor 3 --partitions 2 --topic Allen-Reclica-topic1

Kafka的集群搭建 

查看 分区情况,

bin/kafka-topics.sh --describe --zookeeper 192.168.0.101:2181 --topic Allen-Reclica-topic1

Kafka的集群搭建

当我们把第三个broker kill掉时

Kafka的集群搭建

Kafka的集群搭建

如下,可以看到在partition0中,本来作为Leader的broker2中的partition变成了broker1.

对应的Isr中可用的2broker没有了,只有0和1是处于同步中的。

Kafka的集群搭建

在kafka中要是有顺序消费,必须配置成queue的模式,这样即很难发挥出kafka的高性能。

一个partition同一个时刻在一个consumer group中只能有一个consumer instance在消费,从而保证消费顺序。 consumer group中的consumer instance的数量不能比一个Topic中的partition的数量多,否则,多出来的 consumer消费不到消息。 Kafka只在partition的范围内保证消息消费的局部顺序性,不能在同一个topic中的多个partition中保证总的消费顺序 性。 如果有在总体上保证消费顺序的需求,那么我们可以通过将topic的partition数量设置为1,将consumer group中的 consumer instance数量也设置为1,但是这样会影响性能,所以kafka的顺序消费很少用。