搭建kafka集群

(搭建kafka之前需提前搭建zookeeper集群，本文没有写zookeeper搭建过程)

1 创建目录

cd /opt/

mkdir kafka #创建项目目录

 

2 下载安装kafka

tar -zxvf kafka_2.12-1.1.0.tgz

cd /opt/kafka/kafka_2.12-1.1.0/

mkdir log #创建kafka消息目录，主要存放kafka消息

 

3 修改每台的配置文件

cd /opt/kafka/kafka_2.12-1.1.0/config

vi server.properties

一般需修改的配置：

broker.id=1    #当前机器在集群中的唯一标识（每台机器的id不同）

listeners=PLAINTEXT://hostname:9092       # (listeners是kafka真正bind的地址)

advertised.listeners=PLAINTEXT://hostname:9092    #( advertised.listeners是暴露给外部的listeners，如果没有设置，会用listeners)

log.dirs=/opt/kafka/kafka_2.12-1.1.0/log   #消息存放的目录

zookeeper.connect=ip01:2181,ip02:2181,ip03:2181   #设置zookeeper的连接端口

 

4 kafka启动：(每台都需要启动)

cd /opt/kafka/kafka_2.12-1.1.0

nohup ./bin/kafka-server-start.sh  config/server.properties &

 

5 检查是否启动

jps

4233 QuorumPeerMain

查看topic命令：

/opt/kafka/kafka_2.12-1.1.0/bin/kafka-topics.sh --list –zookeeper ip01:2181,ip02:2181,ip03:2181