安装和使用kafka

准备工具

1. 一部已经安装好的zookeeper虚拟机
2. 上传kafka安装包

上传解压kafka的压缩包

tar -xvf

修改配置文件

server.properties

为了方便运行，配置一下环境变量

export KAFKA_HOME=/opt/software/kafka/kafka_2.12-1.1.0
export PATH=$PATH:$KAFKA_HOME/bin

分发到其他机器上去

scp -r /opt/software/kafka [email protected]:/opt/software/
scp -r /etc/profile [email protected]:/etc/
修改一下broker.id 和host.name

启动

先启动zookeeper
zkServer.sh start
再启动kafka
kafka-server-start.sh -daemon /opt/software/kafka/kafka_2.12-1.1.0/config/server.properties &

创建主题

kafka-topics.sh --create --zookeeper Centos161:2181,Centos162:2181,Centos163:2181 --replication-factor 3 --partitions 3 --topic test
参数1：server.properties中配置的参数
参数2：主题的副本数
参数3：主题内容的分区
参数4：主题名称

模拟生产者和消费者

生产者命令：
kafka-console-producer.sh --broker-list Centos161:9092,Centos162:9092,Centos163:9092 --topic test
参数一：kafka所在的机器
参数二：主题名称

消费者命令：
kafka-console-consumer.sh --bootstrap-server Centos162:9092,Centos163:9092 --from-beginning --topic test
参数一：消费者所在的机器
参数二：主题名称