欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

kafka集群部署

程序员文章站 2022-05-07 17:17:51
...

kafka集群部署:

【注】linux下安装kafka,首先确保zookeeper已经安装成功,想要安装zookeeper,必须先在linux中安装好jdk。

1、现将tar包放在指定的目录如果没有tar包,官网是你取得地方。http://kafka.apache.org/

kafka集群部署

2、解压

[aaa@qq.com opt]# tar -zxvf kafka_2.11-2.3.1.tgz
[aaa@qq.com opt]# mv kafka_2.11-2.3.1 kafka
[aaa@qq.com opt]# rm -rf kafka_2.11-2.3.1.tgz

友情提示:我是四台机器的集群,不过kafka的搭建在2,3,4节点上。

3、在/opt/kafka目录下创建logs文件夹

[aaa@qq.com kafka]# mkdir logs

4、进入配置文件的目录

[aaa@qq.com kafka]# cd config/
[aaa@qq.com config]# ll

kafka集群部署

5、修改配置文件

[aaa@qq.com config]# vi server.properties

类似于zookeeper的myid设置: 

kafka集群部署

kafka集群部署

kafka集群部署

【补充】如果一致不用做改变

#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径	
log.dirs=/opt/module/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间,超时将被删除
log.retention.hours=168

6、分发安装包

[aaa@qq.com opt]# scp -r kafka/ henu2:`pwd`
[aaa@qq.com opt]# scp -r kafka/ henu4:`pwd`

7、分别在henu2/henu3/henu4上修改配置文件/opt/kafka/config/server.properties中的broker.id=1、broker.id=2、broker.id=3

注:broker.id不得重复

kafka集群部署

8、分别在三台机器上的kafka的bin目录下执行启动

 ./kafka-server-start.sh -daemon ./config/server.properties

9、分别在三台机器上的kafka的bin目录下执行关闭

bin/kafka-server-stop.sh stop

【友情提示】

如果遇到启动不起来,看这里:https://blog.csdn.net/qq_41946557/article/details/102978624

相关标签: kafka集群部署