kafka集群部署
程序员文章站
2022-05-07 17:17:51
...
kafka集群部署:
【注】linux下安装kafka,首先确保zookeeper已经安装成功,想要安装zookeeper,必须先在linux中安装好jdk。
1、现将tar包放在指定的目录如果没有tar包,官网是你取得地方。http://kafka.apache.org/
2、解压
[aaa@qq.com opt]# tar -zxvf kafka_2.11-2.3.1.tgz
[aaa@qq.com opt]# mv kafka_2.11-2.3.1 kafka
[aaa@qq.com opt]# rm -rf kafka_2.11-2.3.1.tgz
友情提示:我是四台机器的集群,不过kafka的搭建在2,3,4节点上。
3、在/opt/kafka目录下创建logs文件夹
[aaa@qq.com kafka]# mkdir logs
4、进入配置文件的目录
[aaa@qq.com kafka]# cd config/
[aaa@qq.com config]# ll
5、修改配置文件
[aaa@qq.com config]# vi server.properties
类似于zookeeper的myid设置:
【补充】如果一致不用做改变
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/opt/module/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间,超时将被删除
log.retention.hours=168
6、分发安装包
[aaa@qq.com opt]# scp -r kafka/ henu2:`pwd`
[aaa@qq.com opt]# scp -r kafka/ henu4:`pwd`
7、分别在henu2/henu3/henu4上修改配置文件/opt/kafka/config/server.properties中的broker.id=1、broker.id=2、broker.id=3
注:broker.id不得重复
8、分别在三台机器上的kafka的bin目录下执行启动
./kafka-server-start.sh -daemon ./config/server.properties
9、分别在三台机器上的kafka的bin目录下执行关闭
bin/kafka-server-stop.sh stop
【友情提示】